[YuS_2]

[System.IO.File]::ReadAllLines("$in") »

аналог:

Код:

gc $in -raw

а вообще, для ускорения, можно и потоковое чтение/запись задействовать, что-то типа%

Код:

$reader = [io.streamreader]::new('1.txt')
$writer = [io.streamwriter]::new('2.txt')
 
while ($reader.peek() -ne -1){
    $writer.write($reader.readline()) # тут можно различные проверки замутить
}
 
$reader.close()
$writer.close()

[Foreigner]

аналог: »

Не совсем, Get-Content -raw возвращает строку, a [System.IO.File]::ReadAllLines() массив строк.

A streamreader, это действительно хорошая идея.

[YuS_2]

Не совсем, Get-Content -raw возвращает строку »

это да, но всегда можно отсплитить построчно, это гораздо быстрее чем построчное чтение...

[DJ Mogarych]

Вот человек целое исследование провёл:

[System.IO.File]::ReadLines(): 6 seconds Get-Content -ReadCount 1000: 7 seconds Switch -File: 10 seconds [System.IO.File]::OpenText().readtoend(): 10 seconds [System.IO.File]::ReadAllText(): 13 seconds [System.IO.File]::ReadAllLines(): 16 seconds Get-Content -Raw: 46 seconds Get-Content: 229 seconds

Reading large text files with Powershell

[Foreigner]

Попробовал с потоком, 1млн строк разбился на два файла за 6 сек:

Код:

$reader  = [io.streamreader]::new("$pwd/file.log")
$writer1 = [io.streamwriter]::new("$pwd/service1.log")
$writer2 = [io.streamwriter]::new("$pwd/service2.log")

while ($reader.peek() -ne -1)
{
    switch -regex ($out = $reader.readline())
    {
         'service1' { $writer1.write($out + "`n") }
         'service2' { $writer2.write($out + "`n") }
    }
}

$reader.close()
$writer1.close()
$writer2.close()

[DJ Mogarych]

Foreigner, а если использовать батник megaloman-а?

[Foreigner]

а если использовать батник megaloman-а? »

Я не могу, линукс

[YuS_2]

целое исследование провёл »

Исследование не совсем полноценное... в том смысле, что не указана версия PS. В последних версиях, командлеты оптимизируют, так что цифры могут оказаться другими, при одних и тех же исходных...

а если использовать батник megaloman-а? »

Ночером, если делать будет нечего, попробую потестить на скорострельность разных вариантов...

[YuS_2]

Итоги тестов, вот такого кода:

тестовый код

Код:

$file = 'out1500000.txt'

'------'
'1 - gc $file'
(measure-command{
1..3|%{$arr = $null}{$arr = gc $file}
write-host $($arr.count) -for red
}).totalseconds
'------'
'2 - gc $file -ReadCount 10000'
(measure-command{
1..3|%{$arr = $null}{$arr = gc $file -ReadCount 10000}
write-host $($arr.count) -for red
}).totalseconds
'------'
'3 - (gc $file -raw) -split "`n"'
(measure-command{
1..3|%{$arr = $null}{$arr = (gc $file -raw) -split "`n"}
write-host $($arr.count) -for red
}).totalseconds
'------'
'4 - switch -file $file {default {$psitem}}'
(measure-command{
1..3|%{$arr = $null}{$arr = switch -file $file {default {$psitem}}}
write-host $($arr.count) -for red
}).totalseconds
'------'
'5 - [io.file]::readalltext($file) -split "`n"'
(measure-command{
1..3|%{$arr = $null}{$arr = [io.file]::readalltext($file) -split "`n"}
write-host $($arr.count) -for red
}).totalseconds
'------'
'6 - [io.file]::readalllines($file)'
(measure-command{
1..3|%{$arr = $null}{$arr = [io.file]::readalllines($file)}
write-host $($arr.count) -for red
}).totalseconds
'------'
'7 - [io.file]::readlines($file) -split "`n"'
(measure-command{
1..3|%{$arr = $null}{$arr = [io.file]::readlines($file) -split "`n"}
write-host $($arr.count) -for red
}).totalseconds
'------'
'8 - [io.file]::opentext($file).readtoend() -split "`n"'
(measure-command{
1..3|%{$arr = $null}{$arr = [io.file]::opentext($file).readtoend() -split "`n"}
write-host $($arr.count) -for red
}).totalseconds
'------'
'9 - $reader.readtoend() -split "`n"'
(measure-command{
1..3|%{$arr = $null}{
    $reader = [io.streamreader]::new($file)
    $arr = $reader.readtoend() -split "`n"
    $reader.close()
}
write-host $($arr.count) -for red
}).totalseconds

- чтобы получить более-менее корректные сравнения, цель работы каждого блока была такой:
Считать из файла 1500000 строк и получить массив такого же количества строк.
PS 7.3.6

------ 1 - gc $file 1500000 135,3993815 ------ 2 - gc $file -ReadCount 10000 150 4,5613858 ------ 3 - (gc $file -raw) -split "`n" 1500001 3,8927897 ------ 4 - switch -file $file {default {$psitem}} 1500000 1,8711774 ------ 5 - [io.file]::readalltext($file) -split "`n" 1500001 1,4145144 ------ 6 - [io.file]::readalllines($file) 1500000 0,8467002 ------ 7 - [io.file]::readlines($file) -split "`n" 1500000 2,5423216 ------ 8 - [io.file]:pentext($file).readtoend() -split "`n" 1500001 1,4478526 ------ 9 - $reader.readtoend() -split "`n" 1500001 1,7025707

PS 5.1

------ 1 - gc $file 1500000 71,0913368 ------ 2 - gc $file -ReadCount 10000 150 2,0562238 ------ 3 - (gc $file -raw) -split "`n" 1500001 5,4825919 ------ 4 - switch -file $file {default {$psitem}} 1500000 1,6654813 ------ 5 - [io.file]::readalltext($file) -split "`n" 1500001 3,9344098 ------ 6 - [io.file]::readalllines($file) 1500000 0,5840069 ------ 7 - [io.file]::readlines($file) -split "`n" 1500000 2,4861966 ------ 8 - [io.file]:pentext($file).readtoend() -split "`n" 1500001 3,6093053 ------ 9 - $reader.readtoend() -split "`n" 1500001 3,2849391

- понятно, что безоговорочным победителем скорочтения массива строк, становится [io.file]::readalllines($file), ибо никаких дополнительных разбивок не требует...

[Foreigner]

Интересное сравнение с 5.1