CMD/BAT

Foreigner · Отправлено: **17:44, 15-04-2012** | #2

Цитата dj_crazy_joker:

нужно удалять повторы »

Код:

@echo off
setlocal

for /f %%i in (access_result.log) do set "line_%%i=1"
for /f "tokens=2 delims=_=" %%i in (' set line_ ') do 1>>access_result.tmp echo %%i
move access_result.tmp access_result.log

dj_crazy_joker · Отправлено: **19:24, 15-04-2012** | #3

Foreigner, спасибо, вопрос, как без сортирровки сохранять??
тоесть чтоб структура списка сохранялась

Iska · Отправлено: **20:09, 15-04-2012** | #4

dj_crazy_joker, я бы предложил использовать напрямую, без обработки коллеги, такое средство как Log Parser.

Ваш вариант:

Код:

"C:\Program Files\Log Parser 2.2\LogParser.exe" "SELECT DISTINCT Field1 FROM 'E:\Песочница\0135\0001.log'" -i:TSV -iSeparator:spaces -headerRow:OFF -q:ON

Результат…

dj_crazy_joker · Отправлено: **21:21, 15-04-2012** | #5

Iska, дело в том что мне не нужны крутые проги и т.д.
надо просто список айпи с моего сайта раз в неделю отправлять одному человеку
он сказал что такой завал который был у меня он не будет брать, тока после удаление повторов и т.д.

мне удобней через батник запускать всё эт дело и совсем не хочется замучиваться с этими прогами

dj_crazy_joker · Отправлено: **00:46, 16-04-2012** | #6

ещё вопрос как можно сделать чтоб он сохранял не просто заданным именем а датой

Anonymоus · Отправлено: **02:17, 16-04-2012** | #7

dj_crazy_joker, если вам не подходит метод Foreigner, попробуйте вот это. Но сразу предупрежу, скорость работы низкая, к примеру, лог с ~100 тысяч строк оно почти 8 минут обрабатывало, зато без сторонних утилит и порядок следования в логе не нарушается.

Код:

@Echo Off
SetLocal EnableDelayedExpansion
Set Log=test.txt
:: Подсчитываем общее число строк для счетчика в заголовке окна
Set lines=0
For /F "usebackq" %%A In ("%Log%") Do (Set /A lines+=1)
:: Обрабатываем лог, выделяя IP и добавляя только не повторяющиеся
Set i=0
Set IPlist=
For /F "usebackq tokens=1" %%A In ("%Log%") Do (
	Echo !IPlist!|Find "%%A">nul||Set IPlist=!IPlist! %%A
	Set /A i+=1
	Title Progress: [!i!\%lines%]
)
:: Пишем IP в файл
For %%A In (%IPlist%) Do (Echo %%A>>%date%_IP_list.txt)

Iska · Отправлено: **03:18, 16-04-2012** | #8

Цитата dj_crazy_joker:

мне удобней через батник запускать всё эт дело и совсем не хочется замучиваться с этими прогами »

Если Вы считаете, что единожды загрузить и установить одну, предназначенную специально для подобных случаев, утилиту, созданную непосредственно Microsoft, и затем использовать уже приведённый код — это означает «замучиваться» — что ж, дело Ваше.

Вот Вам результат выполнения команды для файла с миллионом строк (из предыдущего примера убран параметр «-q:ON», дабы отобразить статистику исполнения запроса):

Код:

E:\Песочница\0135>"C:\Program Files\Log Parser 2.2\LogParser.exe" "SELECT DISTINCT Field1 FROM 'E:\Песочница\0135\0001.log'" -iCodepage:1251 -i:TSV -iSeparator:spaces -headerRow:OFF

Field1
--------------
62.122.135.154
172.21.221.26
180.61.12.95
178.178.1.237
193.68.70.2
94.229.71.155

Statistics:
-----------
Elements processed: 1000000
Elements output:    6
Execution time:     1.78 seconds

Обратите внимание на значение «Execution time».

dj_crazy_joker · Отправлено: **11:49, 16-04-2012** | #9

Anonymоus, твой скрипт у меня закрывается сам где-то на середине

Foreigner · Отправлено: **16:08, 21-04-2012** | #10

Цитата dj_crazy_joker:

вопрос, как без сортирровки сохранять?? »

Код:

@echo off
setlocal

0<access_result.log set /p "first="
1>access_result.tmp echo %first%

:loop
for /f "tokens=*" %%i in (' findstr /v /g:access_result.tmp access_result.log ') do 1>>access_result.tmp (echo %%i) && goto:loop
move access_result.tmp access_result.log