1

При парсинге, мне в бд, а в дальнейшем и на сайтик, выдается "каша"

iconv("windows-1251","utf-8",$name)

не работает, так как первоначальная кодировка мне не известна. Как определить какая кодировка на сайте? на сайте

P.S. Мета тегов там нету.

2 ответа 2

2

Вот большая статья на эту тему.

Однозначно могу сказать одно - если хотите качественно, то самый надежный способ - это иметь таблицу соответствий сайт-кодировка для тех, которые не определяются правильно. А все остальные по meta тегам и http заголовкам.

Но помните, что есть сайты, у которых только подбором и визуальным контролем можно узнать кодировку. А есть ещё сайты, на которых часть страницы в одной, а часть - в другой:).

2
  • Вот насчет разных страниц в разной кодировке правильно подмечено. Хотя для предложенного в вопросе сайта FF определил, что там cp1251. Почему у TC каша после iconv() ? Видимо надо конкретней разбираться.
    – avp
    9 июн 2012 в 9:51
  • Короче, Шерлок Холмс, Пляшущие Человечки.
    – sercxjo
    9 июн 2012 в 10:17
0
  1. Может быть статистическую формулу подобрать, выбирать кодировку в зависимости от среднего значения байт, байты меньше 128 не учитывать.

  2. Перебирая разные кодировки, применяем aspell и минимизируем количество нераспознанных слов.

8
  • Ещё варианты есть?=))))
    – step_11
    8 июн 2012 в 14:55
  • Ну ещё HTTP заголовки но в них с данного сайта я тоже не обнаружил информации о кодировке.
    – sercxjo
    9 июн 2012 в 9:05
  • Добавил ещё вариант.
    – sercxjo
    9 июн 2012 в 10:24
  • UTF-8 определить очень просто. По первым битам в нескольких байтах. См. например здесь
    – avp
    9 июн 2012 в 11:25
  • Но бывает utf-8 и без них...
    – KoVadim
    9 июн 2012 в 11:31

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.