[AMDBulldozer]

echo Generated on `date` > /var/log/md5.hashes; find $DIR_TO_BACKUP -type f \! -name Thumbs.db -exec md5sum {} \; >> /var/log/md5.hashes
Правда это не для Windows...

[DjBoBo]

Вы ранее ничего не упоминали про кодировку »

И по этому поводу ранее ничего не было сказано »

Всё тестируется по факту, заведомо не мог знать как обработает черкер выходной фаил :-)

Я радовался, радовался. А потом понял что скрипт и так не обрабатывает Thumbs.db, и не потому что в списках исключения а потому что имеет скрытый атрибут (и возможно системный?) . И соответственно другие файлы с атрибутом "скрытый" тоже :-(

Это можно как-нибуть излечить?

И ещё если это возможно очень бы хотелось чтобы в комментарии прописывалось общее число просканированных файлов. Что то вроде такого.
; Generated on 03/03/2013 02:37:09
; Scanned files: 3563

А если уж совсем идеально, то можно добавить к просканированным файлам ещё и общее количество (с учётом исключений). Например вот так.
; Generated on 03/03/2013 02:37:09
; Scanned files: 3563
; Total files: 3572

--- UPD ---
И обмозговав свои будущие проекты я понял что мне необходимо исключать не только файлы но и папки.
Быть может стоит вынести в переменную в начало файла-скрипта некий список?
Я не знаю как это сделать, но примерно я представляю это так.
%files%
Thumbs.db
Descript.ion

%folders%
D:\Workfolder\Caсhe\ (или с относительными путями к сканируемой корневой папке)
D:\TestSun\Profile\Temp\
и так далее каждый новый объект с новой строчки.

Соответственно наверное если реализовать это то предложение с подсчётом исключённых файлов и самое главное папок уже будет не столь состоятельным. Ну если эта фича сложна в реализации то без неё проживу :-)
Главное это подсчёт всех файлов (включая скрытые и системные) и введение исключений и на папки.

[AMDBulldozer]

{
echo "; Generated on `date`"
echo "; Scanned files: `find $DIR_TO_BACKUP -type f \! -name Thumbs.db | wc -l`"
echo "; Total files: `find $DIR_TO_BACKUP -type f | wc -l`"
find $DIR_TO_BACKUP -type f \! -name Thumbs.db -exec md5sum {} \;
} > /var/log/md5.hashes

Опять-таки не для Windows

[DjBoBo]

AMDBulldozer, спасибо конечно. Но я использую исключительно Windows :-) Хотелось бы закончить этот "проект века" наконец и забекапить по всем правилам и своим внутренним критериям все свои многочисленные файлы :-)

[Iska]

Я радовался, радовался. А потом понял что скрипт и так не обрабатывает Thumbs.db, и не потому что в списках исключения а потому что имеет скрытый атрибут (и возможно системный?) . И соответственно другие файлы с атрибутом "скрытый" тоже :-( Это можно как-нибуть излечить?»

Выходит, что так:

-Force Allows the cmdlet to get items that cannot otherwise not be accessed by the user, such as hidden or system files.

Я тоже учусь.

И ещё если это возможно очень бы хотелось чтобы в комментарии прописывалось общее число просканированных файлов. Что то вроде такого. ; Generated on 03/03/2013 02:37:09 ; Scanned files: 3563 А если уж совсем идеально, то можно добавить к просканированным файлам ещё и общее количество (с учётом исключений). Например вот так. ; Generated on 03/03/2013 02:37:09 ; Scanned files: 3563 ; Total files: 3572 »

Я посмотрю, что можно сделать. Но логику всю придётся переделывать.

И обмозговав свои будущие проекты я понял что мне необходимо исключать не только файлы но и папки. Быть может стоит вынести в переменную в начало файла-скрипта некий список? Я не знаю как это сделать, но примерно я представляю это так. %files% Thumbs.db Descript.ion %folders% D:\Workfolder\Caсhe\ (или с относительными путями к сканируемой корневой папке) D:\TestSun\Profile\Temp\ и так далее каждый новый объект с новой строчки. Соответственно наверное если реализовать это то предложение с подсчётом исключённых файлов и самое главное папок уже будет не столь состоятельным. Ну если эта фича сложна в реализации то без неё проживу :-) Главное это подсчёт всех файлов (включая скрытые и системные) и введение исключений и на папки. »

Без подсчёта исключённых будет много проще. Поясните про относительные пути, ибо логика разная.

[DjBoBo]

Iska, Огромное спасибо что помогаете мне в реализации, ваша помощь бесценна :-)
Подсчёт исключённых действительно был бы избыточен, желательно просто реализовать подсчёт общего количества просканированных файлов и соответственно хеш-записей. И не более.
Касаемо же путей, я просто подумал если в скрипте указывается жёстко рабочая папка, то наверное при написании папок-исключений необходимо отталкиваться относительно её, а это значит пути будут относительными. Хотя конечно окончательный выбор за вами. В моём случае сканируемые папки на компьютере не перемещаются.
Но в тоже время относительно вывода (хеш-файла) ничего не меняется, там так и должны быть относительные пути.

[Iska]

Пробуйте:

читать дальше »

Код:

function GetMD5Hash([System.String]$sFile) {
    $oHashAlgorithm = [Security.Cryptography.HashAlgorithm]::Create("MD5")

    $oStreamReader = ([System.IO.StreamReader]$sFile).BaseStream
    
    -join ($oHashAlgorithm.ComputeHash($oStreamReader) | ForEach-Object -Process { "{0:x2}" -f $_ })
    $oStreamReader.Close()
}

$sRootPath       = "E:\Песочница\0328"
$sMD5ListPath    = "E:\Песочница\0336\MD5 List.txt"
$sExcludeFiles   = "E:\Песочница\0336\ExcludeFiles.txt"
$sExcludeFolders = "E:\Песочница\0336\ExcludeFolders.txt"


$cExcludeFiles   = @(Get-Content -Path $sExcludeFiles   -Encoding UTF8)
$cExcludeFolders = @(Get-Content -Path $sExcludeFolders -Encoding UTF8)


$cList = Get-ChildItem -Path $sRootPath -Recurse -Force |`
    Where-Object -FilterScript { -not $_.PSIsContainer -and $cExcludeFiles -notcontains $_.Name }
    
foreach($elem in $cExcludeFolders) {
    $cList = $cList | Where-Object -FilterScript { -not $_.FullName.StartsWith("$sRootPath\$elem") }
}

"; Generated on $(Get-Date)", "; Total files: $($cList.Length)", ( $cList | ForEach-Object -Process {
    "$(GetMD5Hash $_.FullName) $($_.FullName.Substring($sRootPath.Length + 1))"
} ) | Out-File -FilePath $sMD5ListPath -Encoding UTF8

Касаемо же путей, я просто подумал если в скрипте указывается жёстко рабочая папка, то наверное при написании папок-исключений необходимо отталкиваться относительно её, а это значит пути будут относительными. »

Да. И без замыкающего обратного слэша (т.е. «Exclude Folder 01», «Exclude Folder 02», «Exclude Folder 03\Folder4\Folder5» и т.п.).

[DjBoBo]

Iska, Спасибо :-)
Прогнал скрипт в типичных задачах и вроде всё работает :-)
Единственный вопрос возник по этому поводу

Да. И без замыкающего обратного слэша (т.е. «Exclude Folder 01», «Exclude Folder 02», «Exclude Folder 03\Folder4\Folder5» и т.п.). »

Если без слеша в конце то папка воспринимается как Exclude Folder 01* Т.е. если есть например ещё папка Exclude Folder 01Test то она тоже будет исключена. А если поставить слеш то нет. Также я попробовал в исключения папок добавлять пути до файла, например Test\Test.txt и это тоже вполне работает.

[Iska]

Если без слеша в конце то папка воспринимается как Exclude Folder 01* Т.е. если есть например ещё папка Exclude Folder 01Test то она тоже будет исключена. »

Не додумал. Странно, печально, но факт. Поправил:

читать дальше »

Код:

function GetMD5Hash([System.String]$sFile) {
    $oHashAlgorithm = [Security.Cryptography.HashAlgorithm]::Create("MD5")

    $oStreamReader = ([System.IO.StreamReader]$sFile).BaseStream
    
    -join ($oHashAlgorithm.ComputeHash($oStreamReader) | ForEach-Object -Process { "{0:x2}" -f $_ })
    $oStreamReader.Close()
}

$sRootPath       = "E:\Песочница\0328"
$sMD5ListPath    = "E:\Песочница\0336\MD5 List.txt"
$sExcludeFiles   = "E:\Песочница\0336\ExcludeFiles.txt"
$sExcludeFolders = "E:\Песочница\0336\ExcludeFolders.txt"


$cExcludeFiles   = @(Get-Content -Path $sExcludeFiles   -Encoding UTF8)
$cExcludeFolders = @(Get-Content -Path $sExcludeFolders -Encoding UTF8)


$cList = Get-ChildItem -Path $sRootPath -Recurse -Force |`
    Where-Object -FilterScript { -not $_.PSIsContainer -and $cExcludeFiles -notcontains $_.Name }
    
foreach($elem in $cExcludeFolders) {
    $cList = $cList | Where-Object -FilterScript { -not $_.FullName.StartsWith("$sRootPath\$elem\") }
}

"; Generated on $(Get-Date)", "; Total files: $($cList.Length)", ( $cList | ForEach-Object -Process {
    "$(GetMD5Hash $_.FullName) $($_.FullName.Substring($sRootPath.Length + 1))"
} ) | Out-File -FilePath $sMD5ListPath -Encoding UTF8

Также я попробовал в исключения папок добавлять пути до файла, например Test\Test.txt и это тоже вполне работает. »

Угу. Там сравнение шло по началу пути. В исправленном такое работать уже не должно.

[DjBoBo]

Не додумал. Странно, печально, но факт. Поправил: »

Угу. Там сравнение шло по началу пути. В исправленном такое работать уже не должно. »

Ну если слеш в конце ничего не нарушает, а ещё к тому же и добавляет функционал по выборочному исключению не только папок но и отдельных конечных файлов то меня он вполне устраивает :-)
Думаю его и использовать...