поиск уникальных файлов
 

Есть папка с множеством подпапок, подподпапок и т.д. В них много файлов-дубликатов и мало уникальных файлов.
Как быстро найти только уникальные? (Сравнение по имени и размеру файла)

Total Commander прекрасно ищет дубликаты. Но уникальный файл подсветить не может.
Файлы надо только найти: удалять, перемещать нельзя.
Существует ли простое решение?
Спасибо

Конечно. Скрипт на PowerShell будет вполне универсальным решением.

Что Вы с этими файлами дальше делать будете?

жаль что потом эти файлы нельзя скопировать, переместить :( не прибегая к коду
спасибо

Код там проще пареной репы. Вот вывод списка:
Копирование или перемещение - это ещё всего лишь одна команда.

DJ Mogarych, Попробовал Ваш код. В папку (пускай D:\Downloads) скопировал другую папку с подпапками и файлами в них. В этой же папке создал подпапку и скопировал туда то же самое. Один файл изменил. Похоже, приведенная команда перечисляет все файлы.

pwsh

Уникальность файла определяется его энтропией, а не размером (не говоря о названии). И приведенные выше примеры не учитывают этот нюанс. Если с расчетом уникальности не хочется заморачиваться, более или менее верным будет удаление дубликатов по хэшу.

Это было ясно с самого начала, но ТС хотел именно размер и имя.
Расчёт хэша - вещь хорошая, но выполняться это будет весьма небыстро.

DJ Mogarych, будучи нарывом на заднице ложкой дёгтя в бочке меда, хочу ещё раз указать, что уникальность не может определяться такими параметрами как размер и имя: файлы по размеру могут быть и одинаковы, но вы же не станете закладываться на детородный орган почку, дескать, их содержание также одинаково, верно? На счет имён - вообще отдельный разговор. Так что либо хэши, либо unsafe код и энтропия.
Благодартвуйте, кэп!

Справедливости ради Get-FileHash берет hash содержимого файла. Возьмите его у двух одинаковых файлов с разными именами.

Реплика в сторону, надо полагать?! Ежели нет, не переживайте титул кэпа переходящий трофей. Имя файла - всего лишь метка, относительно которой идет считывание данных с диска (если утрированно), в то время как содержимое файла представлено набором байтов, относительно которых и ведется расчет контрольной суммы.

так точно. "Поверхностного" сравнения было бы достаточно. Не ожидал что не существует софта, в котором было бы быстро и легко это провернуть. Попробую обратиться к тотал коммандеру. Вероятно, существует плагин, который мог бы справиться с не особо мудрёной задачей

В принципе можно и по хэшу.

Уникальность - то, что делает предмет универсальным. И если до вас в 100500 раз не дошла простая истина, что сама по себе постановка вопроса лишена логики и противоречит смысловой нагрузке русского языка, видимо форуму так и предстоит топтаться на месте, где львиную долю составляют вопросы вроде "как переместить файл".

Так как Get-FileHash по умолчанию рассчитывает SHA1, можно ускорить обработку, задав ему алгоритм MD5:

DJ Mogarych, по умолчанию используется SHA256. MD5 подвержен коллизиям и не рекомендуется к использованию (неоднократно сталкивался с оным на практике). К слову, SHA256 также можно атаковать, но возможность коллизии ниже на порядок. Если исполнение сценария критично по времени, имеет смысл, как было сказано ранее, использовать unsafe код (благо в pwsh такая возможность имеется, в смысле не нужно использовать Add-Type). Да, код получится длиннее, но работать будет очень быстро.

Да, верно, перепутал.
Я знаю, но в данном случае вероятность таких тонкостей стремится к нулю.

Тем не менее, предосторожности ради лучше отказаться от MD5.

с символическими ссылками тоже возможны коллизии

Если dummy.txt ссылается на dummy.exe, понятное дело хэши совпадут (причем не только SHA-256, можно браться за любой алгоритм, хоть даже KECCAK), так как обрабатываться будет не ссылка как таковая, а конечный объект ФС, - это не коллизия. Чтобы получить хэш самой ссылки, вам придется обратиться к потокам.

Ещё раз: в данном случае это несущественно, потому что, помимо хэша, сравнение идёт и по именам файлов, и по их размеру. В вашем примере файлы неодинаковы по всем параметрам, кроме хэша.

Еще раз перечитайте название темы, также перечитайте мои прежние сообщения, дабы уяснить что имя файла - в грубом округлении, - метка для идентификации последовательности байтов, также как и количество байтов не является уникальной величиной. Вы прямо как Иринушка из рассказа Пантелеева "Буква 'ты'".

Также и вы уясните, что в данном случае речь идёт об одновременном сравнении двух или трёх параметров, которые, не являясь уникальными по отдельности, вместе дают достаточную точность.

DJ Mogarych, популярно, на пальцах. Допустим, есть три файла с названием dummy с одинаковым размером. В вашем понимании файлы являются просто дубликатами, однако, заглянув в содержимое, вы вдруг обнаруживаете различный порядок байтов. Потенциально хэши (если речь о SHA256) будут различны и потому такие файлы можно считать уникальными, они не будут удалены. А теперь представьте кучу разных файлов с разными именами, но одинаковым содержимом разбросанные по папкам. Будут ли они уникальны? Ответ - нет. Почему? Уникальностью называют содержимое, а не внешние факторы. Вы же не станете утверждать, что каждый человек уникален по-своему лишь потому, что он или она - человек?! Говоря об уникальности, вы разумеете содержание.

Удачи вам в ваших заблуждениях.