Задача нетривиальная: написать программу на C/C++
("чистом"), на вход которой подается путь к файлу, на выходе - кодировка этого файла с указанием точности: точно или наиболее вероятно. (содержит буквы английского и/или русского языков, и пр. символы; в файле может быть исходник программы на одном из языков программирования).
Список требуемых к распознаванию кодировок: simple ASCII, CP1251 (windows 1251), ISO8859-5, CP866, KOI8-R, UTF8, UTF16-LE, UTF16-BE, UTF32-LE, UTF32-BE, UCS-2
. Ошибки: кодировка undefined
или файл бинарный (unreadable
).
Задача на эвристический анализ, понятно, что однозначного решения нет. Здесь хотелось бы собрать воедино все признаки отличия этих кодировок друг от друга, а также конфликтование этих признаков между собой, чтобы составить алгоритм.
Существуют BOM
(Byte Order Mark
) для UTF8
(может не быть), для UTF16LE(BE)
, UTF32LE(BE)
, по которым их легко можно определить, но в таком случае возникает тонкая грань между UCS-2
и UTF-16
- возникает проблема в их различении...
Имеются неполные решения задачи: команда file -i [path]
для UNIX
(есть порт для WIN
), которая по специальной таблице встречаемости кодов символов в разных кодировках умеет определять ASCII
, ISO8859-5
(которую путает с Win-1251
), UTF8, UTF16, EBCDIC
, но 8-битные non-ISO
кодировки именует 8-bit unknown
.
По каким признакам можно отличить KOI8-R, WIN-1251, ISO8859-5, CP866, ASCII
(т.е. все однобайтовые в данном случае)?
UCS-2 = UTF16
без "суррогатных пар".
Существует также утилита ENCA
для UNIX
, которая умеет определять кодировки в более широком диапазоне, но принцип работы ее непонятен.
Заранее благодарю за любую помощь.
(win / unix / mac)
, на которой создан данный файл.