[решено] Редактирование файла с символами

Компьютерный форум OSzone.net (http://forum.oszone.net/index.php)

- Скриптовые языки администрирования Windows (http://forum.oszone.net/forumdisplay.php?f=102)

- - [решено] Редактирование файла с символами (http://forum.oszone.net/showthread.php?t=351115)

ryok	28-04-2022 22:18 2983992

Редактирование файла с символами

Есть редактируемый файл, внутри него подобное:

Код:

 »ў8bgatvvwfbcmk4joye403s2970IнІе€        ё2Яъ¶цtМ“Ц!9я1<?xml version='1.0' encoding='utf-8'?><products><product>

Я работаю с читаемым текстом, но в нем есть также нечитаемые символы/иероглифы.

Если попытаться сделать простейшую замену в этом файле, например:

Код:

$FILE = Get-Content test.bnk 

$NEWFILE = $FILE -replace "123", ""

$NEWFILE | Set-Content test.bnk

Замена пройдет успешно, но те символы и иероглифы будут переписаны неверно, а это для исполняемой программы критично, отсюда и вопрос как редактировать файл не затрагивая эти символы ?
Пробовал менять кодировки на входе и на выходе, не помогло.
Также пробовал использовать метод System.IO.Stream и там ситуация точно такая же.

Serguei Kouzmine

29-04-2022 04:20 2983995

расскажите поподробнее про эту вашу простейшую замену

Fors1k

29-04-2022 11:31 2984016

ryok, дайте образец файла.

ryok	29-04-2022 13:12 2984030

Цитата:

Цитата Serguei Kouzmine

расскажите поподробнее про эту вашу простейшую замену »

Замена выше это просто пример, важно что происходит после этого, я так понимаю PowerShell переписывает весь файл полностью, а не точечно как может показаться, по всей видимости отсюда и проблема идет, символы и иероглифы он не может перезаписать в том состоянии в котором они находились изначально.
Мне же нужно сделать точеные изменения в файле, без перезаписи всего файла целиком.

Цитата:

Цитата Fors1k

дайте образец файла. »

К сожалению, я не могу это сделать, в файле много конфиденциальных данных, что-то конкретное хотите сделать с файлом ?

Sham	29-04-2022 13:19 2984031

что-то типа этого наверное. Строка не однобайтная в .net.

Fors1k

29-04-2022 13:21 2984032

Цитата:

Цитата ryok

в файле много конфиденциальных данных »

Уберите их/замените на "ёлочка", "ромашка", или оставьте только первые пару строк в которых происходит указанная проблема.

ryok	29-04-2022 16:31 2984052

Sham,
Код интересный, буду в нем разбираться, спасибо.

Fors1k,
тестовый файл прикрепил, вот хочу в нем сделать замену :

Код:

$FILE = Get-Content C:\Users\Ps-2\Desktop\123\test.bnk 

$NEWFILE = $FILE -replace '<app-developer>0<\/app-developer>', '<app-developer>2</app-developer>'

$NEWFILE | Set-Content C:\Users\Ps-2\Desktop\123\test.bnk

Отрабатывает нормально, но программа уже отказывается работать с таким файлом, а если я сам зайду в файл через Notepad++ и поменяю эту строку <app-developer>0</app-developer> на эту <app-developer>2</app-developer> то все ок.

Fors1k

29-04-2022 17:13 2984059

Как я понимаю, кодировка исходного файла - ANSI.
Попробуем указать её строго вручную.

Код:

cls

$pathIn  = "C:\Users\Ps-2\Desktop\123\test.bnk"

$pathOut = "C:\Users\Ps-2\Desktop\123\test_new.bnk"



$ANSI = [Text.Encoding]::GetEncoding(1251)

$old = [IO.File]::ReadAllText($pathIn, $ANSI)

$new = $old.Replace('<app-developer>0', '<app-developer>2')

[IO.File]::WriteAllText($pathOut, $new, $ANSI)



# Проверка



Start notepad $pathOut



$oldFile = Get-Content $pathIn  -TotalCount 1 -Delimiter "<?xml"

$newFile = Get-Content $pathOut -TotalCount 1 -Delimiter "<?xml"



Write-Host "До   : $oldFile"

Write-Host "После: $newFile"



Write-Host -NoNewline "Символы в начале файла идентичны? "

$oldFile -eq $newFile

В итоге после замены в файле, который вы предоставили, ошибок в начальных символах нет. Результат в консоли:

Код:

До   :  МНє8p7iy6w38emu91ikg56wrvb5axIє ‹        ¶`тУлKТР8П—;Сґў9Ѕ1<?xml

После:  МНє8p7iy6w38emu91ikg56wrvb5axIє ‹        ¶`тУлKТР8П—;Сґў9Ѕ1<?xml

Символы в начале файла идентичны? True

Sham	29-04-2022 17:38 2984062

get-content -raw / set-content -nonewline тоже могут работать. Но бинарные данные это массив байтов, а не текст.

Fors1k

29-04-2022 18:22 2984069

Цитата:

Цитата Sham

Но бинарные данные это массив байтов, а не текст. »

А где здесь бинарные данные есть?

Sham	29-04-2022 19:06 2984071

те байты/октеты, которые по формату файла не должны интерпретироваться как коды символов кодировки. Если все байты принудительно читать как текст, то могут быть проблемы, особенно с кодами управляющих символов 00-1f и др. (они не текстовые символы в 1-байтной кодировке типа 1251).

Fors1k

29-04-2022 20:28 2984078

Строка может хранить в себе и управляющие символы, к примеру тот же десятый и прочие байты управляющих символов, наличие которых мы можем видеть в строке.
Указанную проблему с символами 00-1f воспроизвести не удается:

Код:

cls

[Byte[]]$bytesSrc = 0x00..0x0F+65+0x10..0x1F



$text = [Text.Encoding]::UTF8.GetString($bytesSrc)

$text = $text.Replace("A", "B")



$bytesNew = [Text.Encoding]::UTF8.GetBytes($text)



Compare-Object $bytesSrc $bytesNew

Можете привести пример?

ryok	29-04-2022 22:00 2984092

Fors1k,
Ваш вариант сработал, благодарю, странно что я тоже пробовал разные кодировки, но не знал что ANSI именно так обозначается, я почему-то пробовал так [System.Text.Encoding]::ASCII :laugh:

Кстати попутно еще один вопрос появился, в начале 6 строки тестового файла есть вот такое:

Код:

app-developer 0x

мне нужно заменить там где 0x на 2х, но он расположен прям в этих символах, как это по регулярке можно найти и заменить опять же не повредив эти символы вокруг ?

Fors1k

30-04-2022 03:26 2984107

Заменить в обоих местах:

Код:

cls

$pathIn  = "C:\Users\Ps-2\Desktop\123\test.bnk"

$pathOut = "C:\Users\Ps-2\Desktop\123\test_new.bnk"



$ANSI = [Text.Encoding]::GetEncoding(1251)

$old = [IO.File]::ReadAllText($pathIn, $ANSI)

$new = $old -replace "(?<=app-developer.+?)0", '2' 

[IO.File]::WriteAllText($pathOut, $new, $ANSI)

Sham	30-04-2022 12:40 2984117

Get-Content без -raw отдаёт массив строк, который при коэрсии в строку просто конкатенируется без знаков переноса. Из-за этого у ТС некорректно писался файл с потерей символов переноса строки.

Проблем при интерпретации бинарных данных однобайтовой текстовой кодировкой возникать не должно. Вот при многобайтовых юникодах могут быть некорректные последовательности байтов. Вот такие случаи все протестировать можно, конечно, при большом желании. Глюк может вылезти в любой момент.

ryok	30-04-2022 15:58 2984123

Fors1k,
так как замена происходила еще и в других местах, и портила файл, немного подправил регулярное выражение на это

Код:

(?<=app-developer..|app-developer>)0

еще раз спасибо вам за помощь.

Sham,
насчет -raw сейчас проверить не могу, я его как то в одном из тестов тоже использовал и он мне не помог.

Время: 02:04.