12

Задача нетривиальная: написать программу на C/C++ ("чистом"), на вход которой подается путь к файлу, на выходе - кодировка этого файла с указанием точности: точно или наиболее вероятно. (содержит буквы английского и/или русского языков, и пр. символы; в файле может быть исходник программы на одном из языков программирования).

Список требуемых к распознаванию кодировок: simple ASCII, CP1251 (windows 1251), ISO8859-5, CP866, KOI8-R, UTF8, UTF16-LE, UTF16-BE, UTF32-LE, UTF32-BE, UCS-2. Ошибки: кодировка undefined или файл бинарный (unreadable).

Задача на эвристический анализ, понятно, что однозначного решения нет. Здесь хотелось бы собрать воедино все признаки отличия этих кодировок друг от друга, а также конфликтование этих признаков между собой, чтобы составить алгоритм.

Существуют BOM (Byte Order Mark) для UTF8 (может не быть), для UTF16LE(BE), UTF32LE(BE), по которым их легко можно определить, но в таком случае возникает тонкая грань между UCS-2 и UTF-16 - возникает проблема в их различении...

Имеются неполные решения задачи: команда file -i [path] для UNIX (есть порт для WIN), которая по специальной таблице встречаемости кодов символов в разных кодировках умеет определять ASCII, ISO8859-5 (которую путает с Win-1251), UTF8, UTF16, EBCDIC, но 8-битные non-ISO кодировки именует 8-bit unknown.

По каким признакам можно отличить KOI8-R, WIN-1251, ISO8859-5, CP866, ASCII (т.е. все однобайтовые в данном случае)? UCS-2 = UTF16 без "суррогатных пар".

Существует также утилита ENCA для UNIX, которая умеет определять кодировки в более широком диапазоне, но принцип работы ее непонятен.

Заранее благодарю за любую помощь.

11
  • Существуют вроде еще методы определения кодировки по разделителям строк, абзацев и пр. CR, LF, CR+LF - только должного описания, какой разделитель присущ какой кодировке найти не удалось.
    – Kalash
    11 июл 2012 в 1:50
  • 2
  • 1
    @Kalash По разделителям строк кодировку не определить, разве что только вероятную платформу (win / unix / mac), на которой создан данный файл. 11 июл 2012 в 9:18
  • 3
    Я делал такую программу (just for fun), но 1) для русского языка 2) только для однобайтных кодировок (включая UTF-8) -- "Угадывание" проводится на основе статистики частоты символов в русском тексте. Просто взял несколько книжек и набрал статистику русских букв. Т.е. предполагая, что файл в данной кодировке, считаем частоты букв и сравниваем с "эталоном". Для какой кодировки отклонение меньше, ту и считаем правильной. Понятно, что если файл не в UTF-8, то это быстро отлавливается. Ясно, что такой подход работает в основном для "осмысленных" текстов.
    – avp
    11 июл 2012 в 9:42
  • 1
    Хотел бы увидеть сей проект в виде git или на googlecode :-)
    – gecube
    16 июл 2012 в 20:06

2 ответа 2

3

Когда-то давно, мне попалась картинка (см. ниже)

Подходов могу предложить два:

1) Мы пишем парсер, исходя из каждой кодировки (думаю, ориентироваться будем в первую очередь на кирилицу). Если на вход, подается что-то, чего не может быть в кодировке (спецсимволы и т.п. - мы отбрасываем эту кодировку и идем дальше).

2)

  1. Проверяем заголовок файла, а вдруг нам повезет и там будет метка мультибайтовой кодировки.

  2. Вычищаем файл (убираем пробелы, знаки пунктуации).

  3. Убираем латинские буквы и цифры.

  4. Убираем нормальные спецсимволы {}[]<>$% и т.п. Если ничего не остается, говорим, что хрен его знает в какой он кодировке - спецзнаков нету.

  5. Подсчитываем оставщиеся знаки. Отдельно считаем как однобайтовые так и мульти (перемножаем на лету). Я бы юзал коллекции.

  6. Определяем (роясь в инете, или анализирую самодельные текст) рамки кодировок. Правильность берем, как отношение числа ошибок (символов, которые не могут быть кирилическими в данной кодировке) к числу правильных знаков. Правильным считаем ту кодировку, в которой удалось вложиться в рамки без ошибок. Если таких нет - выводим по убыванию ошибок.

Само собой, чем больше текст, тем ниже вероятность ошибки. По наблюдениям, после 500 знаков (кроме случаев повторения одинакового) ошибки исключены.

Алгоритм кодировок

1

Что касается UTF8, UCS2 и ANSI, их легко различить. Вернее сказать - если нет повторений через байт, то это уже 99.9% не юникод(UCS2: Big/Little Endian).

Далее если есть байты выше 0x7F, то нужно смотреть на последовательность байтов. количество старших битов показывают количество байтов символа в UTF. к примеру 110x xxxx этот байт говорит что за нм есть еще байт который, если это UTF8 будет больше или равен 0x80(10xx xxxx) и меньше чем 0xC0(1100 0000), или например байт с маской 1110 xxxx говорит о том что за ним два байта с маской 10xx xxxx, байты меньше 0x80 обозначают обычные символы ANSI. по сути из-за данного вида кодирования UTF8 даже и в маркере не нуждается.

Что касается UCS-2, то здесь просто смотрим на различия между байтами. Берем из текста по 2 байта, если по одному из них разница не более 3 а средняя длина цепочки составляет больше 2-х, то уже на 50% можно сказать что юникод.

Я делал 3 теста: тест на разные байты(количество), средняя длина слова, ну и третий, особо не нужный количество последовательностей одинаковых байтов выше 3-х и выше 6-ти символов из общего количества последовательностей. В принципе дает очень неплохой результат.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.