|
Компьютерный форум OSzone.net » Компьютеры + Интернет » Хочу все знать » как работать с большими файлами |
|
как работать с большими файлами
|
Ветеран Сообщения: 580 |
Профиль | Отправить PM | Цитировать есть файл весит хрен знает сколько , сотни гигов, в этом файле одни цифры, их надо упорядочить от 0 и до победного конца
вопрос как это сделать, чтобы сервак совсем не крякнуть как сделать сортировку это всего лишь полстрочки в питоне (sort функция) вопрос если просто это сделать сервер умрет. Подскажите, как бы мне разделить на батчи целиковый файл, чтобы его просортировать, да так,чтобы сервер не убить и сколько примерно по времени такой файл будет отрабатывать. Как бы минимзировать вычислительную сложность ,чтобы он не 100 лет думал? |
|
Отправлено: 12:57, 07-02-2020 |
fascinating rhythm Сообщения: 6619
|
Профиль | Отправить PM | Цитировать А толку бить на куски, если потом всё равно надо отсортированные куски составлять вместе и сортировать заново?
|
------- Отправлено: 14:12, 07-02-2020 | #2 |
Для отключения данного рекламного блока вам необходимо зарегистрироваться или войти с учетной записью социальной сети. Если же вы забыли свой пароль на форуме, то воспользуйтесь данной ссылкой для восстановления пароля. |
Ветеран Сообщения: 6683
|
Профиль | Отправить PM | Цитировать если канал резиновый, то можно купить какой-нибудь облачный сервер (сейчас хоть почасовая оплата доступна) и загрузить его, пускай "развлекается"
|
Отправлено: 14:32, 07-02-2020 | #3 |
fascinating rhythm Сообщения: 6619
|
Профиль | Отправить PM | Цитировать Ну или можно попробовать через Powershell Core 7, очень эффективная и быстрая штука.
Непонятно только, что за сервер и что за файл, и есть ли требования к инструменту сортировки - питон там, удав или ещё что. |
------- Отправлено: 14:35, 07-02-2020 | #4 |
Ветеран Сообщения: 3806
|
Профиль | Отправить PM | Цитировать Цитата r-studio:
раскидать содержимое по отдельным файлам основываясь на паре старших разрядов отосортировать каждый из них привычным способом собрать по порядку отдельные файлы в один большой Цитата DJ Mogarych:
|
|||
Отправлено: 15:37, 07-02-2020 | #5 |
fascinating rhythm Сообщения: 6619
|
Профиль | Отправить PM | Цитировать Busla, не знаю, в соседней ветке был случай с group, так PS 5.1 у меня пыхтел больше суток и так и не сделал, а PS 7 работал минут 15-20. Допускаю, что и с sort могло произойти нечто подобное.
|
------- Отправлено: 21:58, 07-02-2020 | #6 |
Ветеран Сообщения: 580
|
Профиль | Отправить PM | Цитировать Ребят, спасибо за подсказки, по крайней мере понял на что смотреть.
|
Отправлено: 11:25, 08-02-2020 | #7 |
Ветеран Сообщения: 27449
|
Профиль | Отправить PM | Цитировать Никакие PowerShell'ы, хоть обычные, хоть Core'ы, сюда не годятся по определению. Чистый (без .Net) C/C++, а лучше ассемблер.
Но начинать надо с: Цитата DJ Mogarych:
|
|
Отправлено: 21:57, 08-02-2020 | #8 |
Ветеран Сообщения: 580
|
Профиль | Отправить PM | Цитировать Iska, txt файл
Iska, и как ассемблер может тут помочь? |
Отправлено: 10:52, 09-02-2020 | #9 |
Ветеран Сообщения: 27449
|
Профиль | Отправить PM | Цитировать |
Отправлено: 11:06, 09-02-2020 | #10 |
Участник сейчас на форуме | Участник вне форума | Автор темы | Сообщение прикреплено |
| |||||
Название темы | Автор | Информация о форуме | Ответов | Последнее сообщение | |
Разное - Папки с файлами на флешке стали файлами, что делать? | dd300 | Microsoft Windows 10 | 6 | 11-12-2019 14:57 | |
Sharepoint - MS Sharepoint 2010 - проблема с большими HTML-файлами в области совместной работы | Greyman | Другие серверные продукты | 0 | 08-10-2018 17:14 | |
HDD - Беспричинный шум головок при отсутствии нагрузки после операций с большими файлами. | sputnikk | Накопители (SSD, HDD, USB Flash) | 4 | 18-06-2017 04:59 | |
Установка - загружается как бы по кадрам с большими задержками, видео так же | Дашка | Microsoft Windows 2000/XP | 4 | 10-07-2011 14:28 |
|