Разное - Нужно выбрать лучшее решение по скорости мелких файлов

Jula0071 · Отправлено: **11:56, 30-09-2022** | #2

Цитата quesd:

архивировать эти файлы, разархивировать, копировать из всех папок, и переносить в одну. »

Может, стоит начать с того, что пересмотреть способ хранения и процесс работы? Например, хранить документы в document-oriented database, или использовать object storage.

quesd · Отправлено: **14:12, 30-09-2022** | #3

Цитата Jula0071:

Может, стоит начать с того, что пересмотреть способ хранения и процесс работы? Например, хранить документы в document-oriented database, или использовать object storage. »

Я наверное забыл уточнить, какой тип файлов у меня, что внутри этих файлов и их важность.
Начнём с того, что у меня только .txt файлы. В них содержатся данные такого вида:

Скрытый текст

-----
text1: text2
text3: text4
text5: text6
text7: text8
-----
text1: text2
text3: text4
text5: text6
text7: text8
-----

Либо такое же, только без text7: text8

Честно, я даже не знаю что именно подходит под такие задачи:

Скачать архив
Выгрузить
Разархивировать архив (где около 100к папок, а в папках по 10-15 файлов)
Найти через поиск только определённое название файла.txt
Все найденные файлы скопировать в новую созданную папку
Получится около 1 млн .txt файлов, с таким типом, который указан в спойлере
Удалить все дубликатные файлы, ибо их будет очень много
Объединить все .txt файлы в 1 .txt файл

Но уж точно никак не подходит mysql база данных под txt файлы, их удаление на дубликаты, и объединение в 1 файл.

Jula0071 · Отправлено: **14:19, 30-09-2022** | #4

Цитата quesd:

Но уж точно никак не подходит mysql база данных под txt файлы »

А кто сказал про MySQL? я сказал про

Цитата Jula0071:

document-oriented database»

Документоориентированная СУБД
NoSQL, например, mongo.

quesd · Отправлено: **15:20, 30-09-2022** | #5

Кроме

Цитата Jula0071:

Документоориентированная СУБД »

Цитата Jula0071:

NoSQL, например, mongo. »

Есть какие-то другие решения? И я не видел, где вы написали почему именно это рекомендуете.

Просто, мне всего лишь то надо отсортировать очень быстро, и к себе на комп скачать 1 готовый отсортированный файл из миллиона мелких файлов. Хранить мне эти миллионы файлов не нужно нигде.

Jula0071 · Отправлено: **15:42, 30-09-2022** | #6

Цитата quesd:

Просто, мне всего лишь то надо отсортировать очень быстро, и к себе на комп скачать 1 готовый отсортированный файл из миллиона мелких файлов. »

Потому и предложил варианты с базой и объектным хранилищем. Но то канеш требует некоторых телодвижений... А быстро на обычной фс не будет никак. Ну, может, на ReiserFS 4, или на ZFS, или на btrfs. Эти файловые системы на винде не работают, если что

yurfed · Отправлено: **17:36, 30-09-2022** | #7

quesd, есть программки быстрого поиска. Например Everything
Даёте ему проиндексироваться (это 1-2 мин).
Далее в нём поиском по простому шаблону *.txt, отмечаете все файлы, снимаете метку с ненужных и самым простым образом копируете/перемещаете отмеченные простым перетаскиванием в нужную вам папку.

quesd · Отправлено: **18:39, 30-09-2022** | #8

Цитата Jula0071:

Потому и предложил варианты с базой и объектным хранилищем. Но то канеш требует некоторых телодвижений... »

У меня к сожалению нет опыта работы с этим. И я не знаю насколько это будет эффективно, по сравнению с NTFS например. Но я продолжаю ждать ваши новые идеи на данную тему.

Цитата yurfed:

есть программки быстрого поиска. Например Everything »

Уже знаю и пользовался этой программой. Вещь конечно хорошая, но когда требуется быстро перегонять терабайты данных, и ждать вот эту индексацию её, это занимает нереально долго. Уж на NTFS + SSD на pcie 4.0 это было примерно полдня (8-10 часов).
Да и на счёт архивирования и разархивирования терабайтов данных уж точно никак не ускорит данная программа.

bredych · Отправлено: **19:12, 30-09-2022** | #9

а наличие в результате самих текстовых файлов является обязательным условием?
как понял, их содержание - это классические пары логин:пароль.
такое прекрасно впихуемо в любую бд, и это все прекрасно жмется, легко ищется, фильтруется и сортируется.
если критичен источник - вводите в бд третье поле и пишете его там.
ну и т.д.

quesd · Отправлено: **19:20, 30-09-2022** | #10

Цитата bredych:

а наличие в результате самих текстовых файлов является обязательным условием?
как понял, их содержание - это классические пары логин:пароль.
такое прекрасно впихуемо в любую бд, и это все прекрасно жмется, легко ищется, фильтруется и сортируется.
если критичен источник - вводите в бд третье поле и пишете его там.
ну и т.д. »

Если даже и так, то каким образом мне создать базу данных, если у меня в архиве, в разных папках эти txt разбросаны? Мне в любом случае сначала разархивировать архив, потом найти эти текстовые файлы, потом удалить дубли из них, и объединить в 1 файл.
Либо я не понимаю концепцию, либо база данных мне вообще не нужна в данной задаче.

И опять же, мне это лишь временно нужно. Т.е отсортировать - и скачать к себе на комп готовый отсортированный файл. Всё остальное удалить.
Про RAM-диски слышали? Я на них намёк веду.