Обработка файла с помощью AutoIT

madmasles · Конфигурация компьютера

Space-06,
Т.е. сумма (0,022325 и т.п.) должна быть подсчитана отдельно для всех вхождений 62.80.230.41, потом для всех 81.23.3.110, ..., и.т.д. Я правильно понял?

Iska · Отправлено: **12:15, 28-06-2011** | #3

Space-06, быстрее всего (для счёта, не для времени разработки, понятно) будет использование подобной технологии: vbscript: работа с большими текстовыми файлами.

P.S. Вопрос, собственно, упирается в следующее: допустимо ли использование статистических функций в текстовом провайдере OLEDB?! Я сие не выяснял.

Space-06 · Отправлено: **19:14, 28-06-2011** | #4

Цитата madmasles:

Т.е. сумма (0,022325 и т.п.) должна быть подсчитана отдельно для всех вхождений 62.80.230.41, потом для всех 81.23.3.110, ..., и.т.д. Я правильно понял? »

да это именно так.

Цитата Iska:

быстрее всего (для счёта, не для времени разработки, понятно) будет использование подобной технологии: vbscript: работа с большими текстовыми файлами. »

вопрос как сформировать запрос - чтоб результат потом выводился в др файл.

Iska · Отправлено: **02:35, 29-06-2011** | #5

Space-06, тогда хотелось бы увидеть реальный пример:

Цитата Space-06:

файл csv »

поскольку приведённый Вами выше пример — как бы не CSV.

Предположим, что файл — CSV (хорошо бы ещё, для чистоты, иметь текстовые поля заключёнными в кавычки, а так придётся, как минимум, сделать десятичным разделителем точку), например, такого вида:
Source.txt

Код:

07.06.2011 8:01, 62.80.230.41, еее.еее.еее.еее, TCP, 3389, 1875, 0.022325, 10
07.06.2011 8:03, 62.80.230.41, еее.еее.еее.еее, TCP, 3389, 1875, 0.05, 10
07.06.2011 8:01, 81.23.3.110, еее.еее.еее.еее, TCP, 3389, 1987, 0.022293, 10
08.06.2011 9:02, 81.23.3.110, еее.еее.еее.еее, TCP, 3389, 1987, 0.06, 10

Тогда, файл Schema.ini может выглядеть примерно так:

А само приложение — наподобие:

где:

Код:

E:\Песочница\0058

— путь к текстовому файлу «Source.txt» и лежащему рядом с ним «Schema.ini».

Результат работы скрипта:

Цитата Space-06:

…чтоб результат потом выводился в др файл.

Приведите для этого пример результирующего файла.

AZJIO · Отправлено: **04:40, 29-06-2011** | #6

Space-06, изучай

Код:

; #include <Array.au3> ; для _ArrayDisplay

$text = FileRead(@ScriptDir&'\список.txt')
If StringInStr($text, @LF) Then
    $aText=StringSplit(StringStripCR(StringStripWS($text, 7)), @LF) ; делим данные построчно в массив, удалив симовол @CR и повтор пробела
Else
    $aText=StringSplit(StringStripWS($text, 7), @CR)
EndIf

Global $aTable[$aText[0]+1][9] ; создаём новый массив с 9-ю колонками
$aTable[0][0]=$aText[0]

; заполняем массив 9-ти колоночный, раздробив строку на колонки по пробелам
For $i = 1 to $aText[0]
    $aTmp=StringSplit($aText[$i], ' ')
    For $j = 1 to $aTmp[0]
        $aTable[$i][$j-1]=$aTmp[$j]
    Next
Next

$aOut=_Calculate($aTable) ; функция подсчёта
; _ArrayDisplay($aOut, 'aOut')
$Out=''
For $i = 1 to $aOut[0][0] ; объединение массива в многострочный текст
    $aOut[$i][0]&=@TAB&$aOut[$i][1]
    $Out&=$aOut[$i][0]&@CRLF
Next

$file = FileOpen(@ScriptDir&'\новый список.txt',2) ; записываем в файл
FileWrite($file, $Out)
FileClose($file)

Func _Calculate($a)
    Local $k, $ind, $i
    If Not IsArray($a) Or UBound($a)<2 Then SetError(1, 0, 'проблема массива') ; проверка валидности массива

    $ind='_//' ; индекс для непересечения с переменными функции
    Assign($ind, 2, 1)

    $k=0
    For $i = 1 To $a[0][0]
        If Not IsDeclared($a[$i][2]&$ind) Then
            $k+=1
            $a[$k][0]=$a[$i][2]
        EndIf
        Assign($a[$i][2]&$ind, Eval($a[$i][2]&$ind)+StringReplace($a[$i][7], ',', '.'), 1) ; создаём локальные переменные или увеличиваем значение для уже созданных
    Next
    
    If $k = 0 Then Return SetError(1, 0, 'проблема массива')
    ReDim $a[$k+1][2]
    For $i = 1 to $k
        $a[$i][1]=Eval($a[$i][0]&$ind)
    Next
    $a[0][0]=$k
    Return $a
EndFunc

Space-06 · Отправлено: **07:41, 30-06-2011** | #7

Iska, а схема какая должна быть для csv?

Код:

[Source.csv]
ColNameHeader=False
Format=CSVDelimited
TextDelimiter=none
CharacterSet=ANSI
Col1=DateTime Date
Col2=IPAddress char
Col3=Name char
Col4=Protocol char
Col5=Port Integer
Col6=SomeField1 Integer
Col7=Cost Float
Col8=SomeField2 Integer

а результат должен быть:

IPAddress и TotalCost

Iska · Отправлено: **12:45, 30-06-2011** | #8

Цитата Space-06:

Iska, а схема какая должна быть для csv? »

Всё зависит от формата конкретного Вашего файла. Ориентируйтесь в поиске на примерно такой запрос: "Schema.ini".

Цитата Space-06:

а результат должен быть:
IPAddress и TotalCost »

Значит, в:

Код:

$oRecordSet.Open("SELECT " & _
	"FIRST([DateTime]) AS [FDateTime], " & _
	"LAST([DateTime]) AS [LDateTime], " & _
	"[IPAddress], " & _
	"COUNT(*) AS [Count], " & _
	"FIRST([Name]) AS [FName], " & _
	"SUM([Cost]) AS [TotalCost] " & _
	"FROM [" & "Source.txt" & "] " & _
	"GROUP BY [IPAddress] ", _
	"Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" & "E:\Песочница\0058" & ";Extended Properties=""text;""", _
	$adOpenStatic, $adLockOptimistic, $adCmdText)

(ну, и далее — в выводе) можно оставить только эти поля. Я привёл остальное скорее как образец того, каких результатов можно добиться применением технологий баз данных даже относительно обычных текстовых файлов.