0

Получаю строку:

$text = file_get_contents( $link );
echo mb_detect_encoding ( $text );

Знаю что файл кодировки ANSI, а выводит UTF-8. В связи с этим не могу конвертировать в UTF-8. Если просто вывести $text, выведет � вместо кириллицы. Скрипт в формате UTF-8. Что нужно почитать?

4
  • 1
    А скрипт ваш сохранён в какой кодировке? Кодировка сайта по умолчанию какая? Не ваши случаи, один, два?
    – Rootware
    5 июн 2019 в 17:35
  • 1
    Скорее всего ваш сервер выставляет по умолчанию другую кодировку, не UTF-8. Поэтому текст выводится не так как нужно. Посмотрите заголовок content-type в ответе сервера, там должно быть что-то вроде этого: content-type: text/html; charset=*. Если charset != "utf-8", значит проблема в этом.
    – hindmost
    5 июн 2019 в 17:37
  • Если известна кодировка, не проще воспользоваться iconv?
    – user337101
    5 июн 2019 в 19:15
  • В общем кодировка оказалась Windows-1251. Почему то при mb_detect_encoding отображается как UTF-8, хотя в блокноте сохраняется как ANSI. Сделал костыль через if для определенного файла: iconv('Windows-1251', 'UTF-8', $text). Получил UTF-8. Кто подскажет почему так, буду благодарен. Всем спасибо. 5 июн 2019 в 20:37

1 ответ 1

1

Кто подскажет почему так, буду благодарен.

Функция mb_detect_encoding не особо хорошо умеет определять кириллицу. Навскидку см. например тут: https://habr.com/en/post/107945/

И ещё была одна замечательная статья на хабре (к сожалению ссылку потерял и поиском не ищется, возможно уже давно удалена). В двух словах там было следущее: функции автоопределения кодировки в разных блокнотах (notepad++, sublime) достаточно простые, неумные, а главное - на небольших отрезках текста могут давать ложные срабатывания.

Автор той статьи работал в техподдержке какого-то вебхостинга и пилил свой блокнот для правки файлов прямо на хостинге, поэтому когда его замучали клиенты - разобрался в вопросе достаточно глубоко.

Поэтому, имейте ввиду:

  1. Автоопределение кодировки mb_detect_encoding не очень точное
  2. Вообще автоопределение кириллицы часто реализуется так себе
  3. Особенно плохо автоопределение работает на небольших фрагментах текста

Поэтому этих PHP-функций по автодетекту кириллицы вы встретите на просторах интернета много, разных.

И ещё. Вам в первых двух комментариях к вопросу дали совершенно правильные советы. Прежде чем гонять через iconv кодировки - лучше убедиться, что у вас всё находится в UTF8 (сами исходники, файлы, если это веб - то в хедерах прописано). Все эти костыли, когда у вас один файл на тысячу так некрасиво в коде смотрятся, что проще заранее договориться, что сервис работает строго в utf-8, чем костыли городить.

1
  • добавлю, что gnu linux утилита file хорошо определяет кодировку 6 июн 2019 в 3:00

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.