Разное - Различные кодировки символов в одном файле

pva · Отправлено: **08:06, 20-05-2009** | #2

1. wordpad умеет (открываешь как текст dos, сохраняешь как ansi)
2. есть функции OemToCharBuff и CharToOemBuff
3. алгоритм: в досе символы с кодами >127 сосредоточены в диапазоне кодов 128-175 и 224-239, остальное - пунктуация; в виндоус в диапазоне 192-255.
На этом примере строим научно-обоснованный алгоритм. Берём повесть о войне и мире, считаем статистику по символам. Открываем wordpad-ом, сохраняем в DOS, считаем статистику (Она будет такой же, только в другом порядке). Теперь открываем неизвестный файл, считаем статистику. По любой норме (лучше L2 - евклидова) считаем расстояние полученного 256-мерного вектора до двух эталонных. Какое меньше - та кодировка и есть.

EvgeniyQQQ · Отправлено: **15:11, 20-05-2009** | #3

Цитата pva:

1. wordpad умеет (открываешь как текст dos, сохраняешь как ansi) »

Забыл уточнить. Кодировки: windows-1251 и utf-8.

вот пример (обе строки находятся в одном и том же файле):

Стандартные изделия
Ñòàíäàðòíûå èçäåëèÿ

Цитата pva:

2. есть функции OemToCharBuff и CharToOemBuff »

http://msdn.microsoft.com/ru-ru/libr...s,VS.85).aspx:
[in] Pointer to a buffer containing one or more characters from the OEM-defined character set.
Определённого типа!!! А вопрос как раз в том, что я не знаю как отличить какой байт в файле к какой кодировке относится.

pva · Отправлено: **06:49, 21-05-2009** | #4

Цитата EvgeniyQQQ:

Стандартные изделия
Ñòàíäàðòíûå èçäåëèÿ »

Это не UTF-8, это стандартный глюк, пришедший со времён windows 3.11, когда перевод в уникод делается не функцией AnsiCharToMultibyte с правильной кодировкой, а просто превращением (reinterpret_cast) однобайтного кода символа в 2-байтный добавлением нулевого старшего байта.
В UTF-8 и обратно можно перевести блокнотом. Если нужен алгоритм, он есть в каком-то из постов на форуме, сделай поиск.
Функции OemToCharBuff и CharToOemBuff были приведены к фразе:

Цитата EvgeniyQQQ:

Есть ли (не важно у какого языка программирования) готовый инструментарий (функция к примеру) с помощью которого можно выполнить правильное преобразование »

Отличить UTF-8 от остальных кодировок можно всё тем же способом статистического разделения (по наименьшему расстоянию). Там для русского языка будет один-два наиболее часто встречающихся символа.