PowerShell - [решено] Сравнивание двух файлов .csv и удаление дублей

Iska · Отправлено: **20:03, 17-10-2012** | #2

XXXp, уточните — Вам надо оставить строки, содержащие домены или оставить только домены?

XXXp · Отправлено: **21:49, 17-10-2012** | #3

Прошу прощения, задача, как оказалось, больше не актуальна. Теперь необходима такая вещь:
есть два файла: 1.csv и 2.csv, необходимо, удалить из файла 2.csv все данные, точные копии которых есть в 1.csv.
Другими словами, файл 1.csv более старый, а 2.csv более новый, необходимо удалить неактуальные данные, которые содержатся уже в 1.csv и были обработаны ранее. В файле 2.csv должно после анализа остаться только новейшие данные, которых в 1.csv нет. Не подскажете, каким образом можно решить такую проблему? Спасибо за любую помощь!

З.Ы. Каждый файл .csv весит ~5-6мб, т.е. содержит около 100 000 строк, после анализа должны остаться 3000-4000.

Kazun · Отправлено: **23:43, 17-10-2012** | #4

Compare-Object (gc 1.csv) (gc 2.csv) -PassThru | Where {$_.SideIndicator -eq "=>"} | Out-File 3.csv

XXXp · Отправлено: **02:14, 18-10-2012** | #5

Спасибо, но почему-то не работает, ошибка. The term is not recognized as cmdlet и т.д...

Iska · Отправлено: **04:10, 18-10-2012** | #6

XXXp, у меня работает. Упакуйте «1.csv» и «2.csv» в архив, выложите на обменник, ссылку — сюда.

Если там какая-либо конфиденциальная информация — архив под паролем, ссылку на архив и пароль в личку коллеге Kazun.

XXXp · Отправлено: **13:06, 18-10-2012** | #7

Прошу прощения, скрипт работает, у меня неправильно был выбран режим powershell
Только он делает не совсем то. Есть два файла 1.csv (более старый, обработанный) и 2.csv (новый, в котором 95% - дубли из 1.csv, которые ранее были обработаны). Необходимо создать такой файл 3.csv, который бы собрал в себя ТОЛЬКО те данные, которые есть в 2.csv, но нету в 1.csv. Цель - дважды не обрабатывать одни и те же данные. Спасибо!

Kazun · Отправлено: **13:21, 18-10-2012** | #8

Код:

PS Z:\> gc 1.csv
Name;LogonName;mail;Department
Name1;LogonName1;mail1;dp1
PS Z:\> gc 2.csv
Name;LogonName;mail;Department
Name1;LogonName1;mail1;dp1
Name2;LogonName2;mail2;dp2
PS Z:\> Compare-Object (gc 1.csv) (gc 2.csv) -PassThru | Where {$_.SideIndicator -eq "=>"}
Name2;LogonName2;mail2;dp2

Приводите примеры,не надо быть голословным.

XXXp · Отправлено: **13:32, 18-10-2012** | #9

Файл 1.csv -http://rusfolder.com/33181055
Файл 2.csv -http://rusfolder.com/33181056

Kazun · Отправлено: **14:00, 18-10-2012** | #10

Код:

$h = @{}
Get-Content 1.csv | Foreach {$h[$_]=1}
Get-Content 2.csv | Where {!$h[$_]} | Out-File 3.csv

У меня получилось 28979 уникальных записей.

PS. С Compare-Object было лень ждать.