[решено] Поиск повторяющихся слов в тексте при помощи StringRegExp

Iska · Отправлено: **13:08, 26-02-2014** | #2

Проще всего — представлять текстовый файл как базу данных. Тогда можно, использовав, например, OLEDB с запросом вида «SELECT COUNT(Field3) AS TotalField3 GROUP Field3 ORDER BY TotalField3 DESC», определить наиболее часто встречающееся из «UserXX».

Iska · Отправлено: **22:22, 26-02-2014** | #3

Как-то не дочитал:

Цитата support23:

p.s. желательно с примерами. »

Код:

AutoItSetOption("MustDeclareVars", 1)

Local Const $adOpenStatic = 3
Local Const $adLockOptimistic = 3
Local Const $adCmdText = 1

Local $sPathToSchema = "E:\Песочница\0365"
Local $sSourceFile   = "0001.txt"

Local $oRecordSet = ObjCreate("ADODB.Recordset")

If Not FileExists($sPathToSchema & "\") Then
	ConsoleWrite("Folder [" & $sPathToSchema & "] not found." & @CRLF)
	Exit(1)
EndIf

If Not FileExists($sPathToSchema & "\" & $sSourceFile) Then
	ConsoleWrite("Source file [" & $sSourceFile & "] not found." & @CRLF)
	Exit(2)
EndIf

CreateSchema($sPathToSchema & "\Schema.ini", $sSourceFile)

$oRecordSet.Open( _
		"SELECT TOP 1 [Name], COUNT(*) AS [Count] " & _
		"FROM [" & $sSourceFile & "] " & _
		"GROUP BY [Name] " & _
		"ORDER BY COUNT(*) DESC", _
		"Provider=Microsoft.Jet.OLEDB.4.0;Data Source='" & $sPathToSchema & "';Extended Properties=""text;""", _
		$adOpenStatic, $adLockOptimistic, $adCmdText _
	)

ConsoleWrite("Name:  " & $oRecordSet.Fields.Item("Name").Value & @CRLF)
ConsoleWrite("Count: " & $oRecordSet.Fields.Item("Count").Value & @CRLF)

$oRecordSet.Close
$oRecordSet = 0

RemoveSchema($sPathToSchema & "\Schema.ini")

Exit(0)
;=============================================================================

;=============================================================================
Func CreateSchema($sFullPathToSchemaIni, $sSourceFile)
	If FileExists($sFullPathToSchemaIni) Then
		FileDelete($sFullPathToSchemaIni)
	EndIf

	Local $hFile = FileOpen($sFullPathToSchemaIni, 2)

	FileWriteLine($hFile, "[" & $sSourceFile & "]")
	FileWriteLine($hFile, "ColNameHeader=False")
	FileWriteLine($hFile, "Format=Delimited( )")
	FileWriteLine($hFile, "TextDelimiter=none")
	FileWriteLine($hFile, "DateTimeFormat=dd.mm.yyyy")
	FileWriteLine($hFile, "CharacterSet=ANSI")
	FileWriteLine($hFile, "Col1=Date date")
	FileWriteLine($hFile, "Col2=Time char")
	FileWriteLine($hFile, "Col3=Name char")

	FileClose($hFile)

 	FileSetAttrib($sFullPathToSchemaIni, "+H")
EndFunc
;=============================================================================

;=============================================================================
Func RemoveSchema($sFullPathToSchemaIni)
	If FileExists($sFullPathToSchemaIni) Then
		FileDelete($sFullPathToSchemaIni)
	EndIf
EndFunc
;=============================================================================

Результат:

P.S. Хорошо бы образец реального файла.

support23 · Отправлено: **13:06, 27-02-2014** | #4

Файл во вложении

При выполнении кода, на тексте для примера, указанного в первом сообщении, все работает

При выполнении кода с данным файлом получаю ошибку:

The requested action with this object has failed.:
$oRecordSet.Open( "SELECT TOP 1 [Name], COUNT(*) AS [Count] " & "FROM [" & $sSourceFile & "] " & "GROUP BY [Name] " & "ORDER BY COUNT(*) DESC", "Provider=Microsoft.Jet.OLEDB.4.0;Data Source='" & $sPathToSchema & "';Extended Properties=""text;""", $adOpenStatic, $adLockOptimistic, $adCmdText )
$oRecordSet.Open( "SELECT TOP 1 [Name], COUNT(*) AS [Count] " & "FROM [" & $sSourceFile & "] " & "GROUP BY [Name] " & "ORDER BY COUNT(*) DESC", "Provider=Microsoft.Jet.OLEDB.4.0;Data Source='" & $sPathToSchema & "';Extended Properties=""text;""", $adOpenStatic, $adLockOptimistic, $adCmdText )^ ERROR

Iska · Отправлено: **15:43, 27-02-2014** | #5

support23, достаточно переименовать «auth_users.log» в «auth_users.txt».

support23 · Отправлено: **08:04, 28-02-2014** | #6

Все отлично работает, благодарю за решение !

madmasles · Конфигурация компьютера

support23,
Мой вариант.

Код:

#include <Array.au3>

Local $sFile = @ScriptDir & '\auth_users.log', $aTmp, $iUb, $oDict, $iTmp, $aMax[2], $aRes[1], $aKey, $aItem

$aTmp = StringRegExp(FileRead($sFile), '(?<=:\d{2})\h{0,}([^\h]+?)[\n\r]', 3)
If @error Then Exit 13
$iUb = UBound($aTmp)

$oDict = ObjCreate('Scripting.Dictionary')
For $i = 0 To $iUb - 1
    If $oDict.Exists($aTmp[$i]) Then
        $iTmp = $oDict.Item($aTmp[$i]) + 1
        $oDict.Item($aTmp[$i]) = $iTmp
        If $aMax[1] < $iTmp Then
            $aMax[1] = $iTmp
            $aMax[0] = $aTmp[$i]
        EndIf
    Else
        $oDict.Add($aTmp[$i], 1)
    EndIf
Next
ConsoleWrite('Max "' & $aMax[0] & '", count = ' & $aMax[1] & @LF)
;~ бонус:
$iUb = $oDict.Count
ReDim $aRes[$iUb + 1][2]
$aKey = $oDict.Keys
$aItem = $oDict.Items
$aRes[0][0] = $aMax[0]
$aRes[0][1] = $aMax[1]
For $i = 0 To $iUb - 1
    $aRes[$i + 1][0] = $aKey[$i]
    $aRes[$i + 1][1] = $aItem[$i]
Next
$oDict = 0
$aTmp = 0
$aMax = 0
_ArrayDisplay($aRes)
;~ в [0][0] массива:    слово, всречающееся максимальное число раз
;~ в [0][1] массива:    кол-во его вхождений
;~ в [1-n][0] массива:    уникальные имена
;~ в [1-n][1] массива:    кол-во их вхождений

support23 · Отправлено: **14:13, 28-02-2014** | #8

Спасибо, тоже отличное решение, особенно с учетом бонуса)

Iska · Отправлено: **16:04, 28-02-2014** | #9

support23, если нужен такой же «бонус» в приведённом мною коде, замените:

Код:

$oRecordSet.Open( _
		"SELECT TOP 1 [Name], COUNT(*) AS [Count] " & _
		"FROM [" & $sSourceFile & "] " & _
		"GROUP BY [Name] " & _
		"ORDER BY COUNT(*) DESC", _
		"Provider=Microsoft.Jet.OLEDB.4.0;Data Source='" & $sPathToSchema & "';Extended Properties=""text;""", _
		$adOpenStatic, $adLockOptimistic, $adCmdText _
	)

ConsoleWrite("Name:  " & $oRecordSet.Fields.Item("Name").Value & @CRLF)
ConsoleWrite("Count: " & $oRecordSet.Fields.Item("Count").Value & @CRLF)

на:

Код:

$oRecordSet.Open( _
		"SELECT [Name], COUNT(*) AS [Count] " & _
		"FROM [" & $sSourceFile & "] " & _
		"GROUP BY [Name] " & _
		"ORDER BY COUNT(*) DESC", _
		"Provider=Microsoft.Jet.OLEDB.4.0;Data Source='" & $sPathToSchema & "';Extended Properties=""text;""", _
		$adOpenStatic, $adLockOptimistic, $adCmdText _
	)

While Not $oRecordSet.EOF
	ConsoleWrite("Count: " & $oRecordSet.Fields.Item("Count").Value & @TAB & "Name:  " & $oRecordSet.Fields.Item("Name").Value & @CRLF)

	$oRecordSet.MoveNext()
WEnd

support23 · Отправлено: **17:28, 28-02-2014** | #10

Цитата Iska:

support23, если нужен такой же «бонус» в приведённом мною коде, замените: »

Большое спасибо!

В обоих случаях получил функционал больше чем запрашивал изначально, Iska и madmasles вы очень помогли!