Имя пользователя:
Пароль:  
Помощь | Регистрация | Забыли пароль?  | Правила  

Компьютерный форум OSzone.net » Программирование, базы данных и автоматизация действий » Скриптовые языки администрирования Windows » CMD/BAT - Как удалить дубли строк в большом файле?

Ответить
Настройки темы
CMD/BAT - Как удалить дубли строк в большом файле?

Новый участник


Сообщения: 11
Благодарности: 0

Профиль | Отправить PM | Цитировать


Добрый день! Подскажите пожалуйста батник, который может удалять дубли в большом текстовом файле .txt
Файл весит под 1,5-2Гб со количеством строк больше 2000000

Отправлено: 17:54, 04-08-2021

 

Аватара для DJ Mogarych

fascinating rhythm


Moderator


Сообщения: 6626
Благодарности: 1528

Профиль | Отправить PM | Цитировать


Код: Выделить весь код
powershell -command "gc 'D:\temp\doubles.txt' |sort -Unique |out-file 'D:\temp\doubles2.txt'"

-------
Powershell 7.x | Powershell 5.1 | ffmpeg (docs)

Это сообщение посчитали полезным следующие участники:

Отправлено: 18:09, 04-08-2021 | #2



Для отключения данного рекламного блока вам необходимо зарегистрироваться или войти с учетной записью социальной сети.

Если же вы забыли свой пароль на форуме, то воспользуйтесь данной ссылкой для восстановления пароля.


Ветеран


Сообщения: 27449
Благодарности: 8087

Профиль | Отправить PM | Цитировать


DJ Mogarych, про sort — не заказывали .

Отправлено: 20:23, 04-08-2021 | #3


Аватара для DJ Mogarych

fascinating rhythm


Moderator


Сообщения: 6626
Благодарности: 1528

Профиль | Отправить PM | Цитировать


Мне приходила в голову та же мысль, но вряд ли в этом случае это имеет значение.

-------
Powershell 7.x | Powershell 5.1 | ffmpeg (docs)


Отправлено: 20:25, 04-08-2021 | #4


Ветеран


Сообщения: 27449
Благодарности: 8087

Профиль | Отправить PM | Цитировать


DJ Mogarych, да, вполне логично. Я тоже не вижу какого-либо глубинного смысла в сохранении исходной сортировки при данном действе.

Отправлено: 20:57, 04-08-2021 | #5



Компьютерный форум OSzone.net » Программирование, базы данных и автоматизация действий » Скриптовые языки администрирования Windows » CMD/BAT - Как удалить дубли строк в большом файле?

Участник сейчас на форуме Участник сейчас на форуме Участник вне форума Участник вне форума Автор темы Автор темы Шапка темы Сообщение прикреплено

Похожие темы
Название темы Автор Информация о форуме Ответов Последнее сообщение
CMD/BAT - [решено] Удаление строк в текстовом файле, как это сделать??? VladZombie Скриптовые языки администрирования Windows 70 08-09-2020 13:28
CMD/BAT - [решено] Как удалить последнюю строку в текстовом файле? ivanxam Скриптовые языки администрирования Windows 35 18-09-2018 08:33
CMD/BAT - Изменение строк в файле Nikugorsk Скриптовые языки администрирования Windows 13 08-06-2018 18:32
C/C++ - Найти и удалить дубли строк KonVi_SEO@twitter Программирование и базы данных 6 05-12-2017 12:21
Как оставить в файле Х первых строк? Dan Вебмастеру 10 19-10-2002 00:41




 
Переход