[vision-d]

Задача всё таже, нужно чтобы скрипт искал кол-во распечаток документов сделанные пользователями (всеми) из дополнительного файла (его направил вам в личку. Сортировка ID Документа, Total.

[vision-d]

Нашел вот такую штуку на perl

Код:

#!/usr/bin/perl -w

my $strings = 'file1';
my $source = 'file2';
my $target = 'file3';

open(STRINGS, "< $strings") or die "Can't open $strings for reading";
while(<STRINGS>) {
s/\s+$//;
`cat $source | grep '$_' >> $target`;
}
close STRINGS;

Подойдет?

[Iska]

vision-d, я не успеваю за Вами.

По поводу файла из этого поста: очень странный лог — каждая строка под 200 тысяч символов (из которых значимых — порядка двухсот-трёхсот). Подумайте, как сделать его меньше. Теоретически работать, возможно, и будет, но 35 гигабайт есть 35 гигабайт. Одно чтение длинных строк займёт уйму времени. Если найти возможность выкинуть кучу незначащих пробелов, файл вполне может сократиться до 60-100 мегабайт (а если в CSV — так и вовсе до 30-40).

По поводу файла из этого поста: как я понимаю, он полностью идентичен выложенному ранее отсюда.

Нашел вот такую штуку на perl… Подойдет? »

Не знаю, поскольку с Perl знаком весьма ознакомительно. Но вижу, что как минимум там есть вызов «cat» и «grep».


Я совершенно запутался, что Вам нужно, с каким именно файлом мы работаем и т.д.

[vision-d]

Да, извиняюсь за путаницу.
Я вытащил из нашей таблицы user (36гигов) нужные нам строки http://yadi.sk/d/01bJCL9_F4QMx получилось 50мб.
Теперь с таблицей можно работать нормально.
Нам нужно сделать чтобы скрипт подсчитывал из таблицы document_statistics
количество распечатанных документов сделанные пользователями из определенного зала таблицы user используя номер room.
Проще говоря это получается как фильтр пользователей.

Создал я новую тему где прошу копировать строки из document_statistics содержащие строки из другого файла где указаны id пользователей. Это как альтернативный вариант решения задачи http://forum.oszone.net/thread-274801.html

[vision-d]

@echo off setlocal enableextensions enabledelayedexpansion set sSourceFile=C:\Users\nadeykinDA\Desktop\document_statistics.txt set sFromDateTime=2013-05-05 set sToDateTime=2013-12-15 set sDocumentID= "%ProgramFiles%\Log Parser 2.2\LogParser.exe" "SELECT Field4 AS [Document ID], COUNT([Document ID]) AS [Total] USING TO_TIMESTAMP(STRCAT(STRCAT(Field1, ' '), Field2),'yyyy-MM-dd hh:mm:ss.ll') AS Date INTO DATAGRID FROM '%sSourceFile%' WHERE Field3 = 'open' AND TO_TIMESTAMP('%sFromDateTime%', 'yyyy-MM-dd') <= Date AND TO_TIMESTAMP('%sToDateTime%', 'yyyy-MM-dd') >= Date GROUP BY [Document ID] ORDER BY Total DESC" -i:TSV -iSeparator:space -headerRow:OFF -nSkipLines:2 -iTsFormat:"yyyy-MM-dd hh:mm:ss.ll" -iCodepage:1251 -stats:OFF -rtp:-1 endlocal exit /b 0 »

Возможно ли сделать так чтобы задавать имя документа в строке set "sDocumentID=" не полностью /rsl01005000000/rsl01005031000/rsl01005031509/rsl01005031509.pdf, а использовать только последнюю часть названия /rsl01005031509.pdf?

[Iska]

Конечно, можно. Но исходный файл уже недоступен.

Вариантов несколько. Например, использовать функцию «SUBSTR()» вкупе со «STRLEN()». Либо использовать в WHERE предикат «LIKE».

[vision-d]

Исходник здесь http://yadi.sk/d/0G8GhDt0FFXKt

Если не сложно покажите как это сделать...

[Iska]

Исходник здесь http://yadi.sk/d/0G8GhDt0FFXKt »

Размер: 462 МБ

Архив. Жду архив.

[vision-d]

Высылаю архив http://yadi.sk/d/j6J9QB1HFJNnR

[Iska]

В ряде строк (251803, 415774 и т.д.) банально отсутствуют значения в поле документа. Вследствие этого корректная работа с ним невозможна никаким методом.

А так, вот Вам пример работы с LIKE. Пакетный файл:

читать дальше »

Код:

@echo off
setlocal enableextensions enabledelayedexpansion

set sSourceFile=E:\Песочница\0344\document_statistics.txt
set sFromDateTime=2013-12-01
set sToDateTime=2013-12-31
set sPartDocumentID=rsl01003399443.pdf

"%ProgramFiles%\Log Parser 2.2\LogParser.exe" file:"Query - By Part of DocumentID.sql"?SourceFile=%sSourceFile%+FromDateTime=%sFromDateTime%+ToDateTime=%sToDateTime%+PartDocumentID=%sPartDocumentID% -i:TSV -iSeparator:space -nSkipLines:2 -headerRow:OFF -iCodepage:65001 -stats:OFF -rtp:-1

endlocal
exit /b 0

Query - By Part of DocumentID.sql:

читать дальше »

Код:

SELECT
	[Date],
	[Document ID],
	[Action],
	[Page],
	[Succeeded],
	[IP],
	[User ID],
	[Extra]
USING
	TO_TIMESTAMP(STRCAT(STRCAT(Field1, ' '), Field2),'yyyy-MM-dd hh:mm:ss.ll') AS [Date],
	Field3 AS [Action],
	Field4 AS [Document ID],
	Field5 AS [Page],
	Field6 AS [Succeeded],
	Field7 AS [IP],
	Field8 AS [User ID],
	Field9 AS [Extra]
INTO DATAGRID
FROM '%SourceFile%'
WHERE
	[Document ID] LIKE '%%%PartDocumentID%' AND
	[Date] BETWEEN TO_TIMESTAMP('%FromDateTime%', 'yyyy-MM-dd') AND TO_TIMESTAMP('%ToDateTime%', 'yyyy-MM-dd')
ORDER BY [Date]