0

Всем привет, написал парсер для телеграм, который парсит информацию о каналах и все сообщения в них. Сначала у меня была кодировка utf8general_ci. Но при парсинге выкидывало ошибку на некоторые символы, и посоветовали использовать более позднюю реализацию utf-8 - utf8mb4_bin.

Но со временем, ошибка стала появляться вновь, посоветуйте другую кодировку,

Ошибка

Illegal mix of collations (utf8mb4_bin,IMPLICIT) and (utf8_general_ci,COERCIBLE) for operation '='

Проблемные тексты

🍀🐬📈 🆈🆄🆁🅰️ 🌕🅼🅾️🅾️🅽🆅🅾️🆈🅰️🅶🅴🆁🌕

Также кидает ошибки на текст:

Prime Optimus     Incorrect string value: '\xF0\x9F\x91\x8D\xF0\x9F...' for column 'message' at row 1
Raja              Incorrect string value: '\xF0\x9F\x91\x8C U...' for column 'message' at row 1
坠入爱河           Incorrect string value: '\xF0\x9F\x93\x8C b...' for column 'message' at row 1
Roma              Incorrect string value: '\xF0\x9F\x91\x89\xF0\x9F...' for column 'message' at row 1
2
  • Приведите DDL схему Вашей таблицы. 31 мар 2019 в 3:12
  • Проблема просто в том, что вы в базе смешали кодировки utf8 и utf8mb4. Используйте ТОЛЬКО utf8mb4
    – andreymal
    31 мар 2019 в 9:51

1 ответ 1

1

Для полной поддержки Unicode Вам нужно нечто вроде:

--- For each database:
ALTER DATABASE database_name CHARACTER SET = utf8mb4 COLLATE = utf8mb4_unicode_ci;
--- For each table:
ALTER TABLE table_name CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
--- For each column:
ALTER TABLE table_name CHANGE column_name column_name VARCHAR(191) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
--- (Don’t blindly copy-paste this! The exact statement depends on
--- the column type, maximum length, and other properties.
--- The above line is just an example for a `VARCHAR` column.)

В этой статье все неплохо расписано: How to support full Unicode in MySQL databases

Вот SQLfiddle с результатами моделирования.

Важно при вставке указать SET NAMES 'utf8mb4';

А вот SET CHARACTER SET 'utf8mb4'; - указывать не надо

7
  • я изменил все текстовые поля на кодировку utf8mb4_unicode_ci, но у меня все равно пролетают ошибки Incorrent string value
    – danilshik
    31 мар 2019 в 13:29
  • utf8mb4_unicode_ci это Collate, используется при сравнениях. При загрузке данных важен Character Set. Вы его установили на utf8mb4? 31 мар 2019 в 15:22
  • вы предлагаете отправлять 3 запроса после создания cursor7
    – danilshik
    31 мар 2019 в 15:26
  • cursor.execute("SET NAMES utf8mb4;") cursor.execute("SET CHARACTER SET utf8mb4;") cursor.execute("SET character_set_connection=utf8mb4;")
    – danilshik
    31 мар 2019 в 15:26
  • Это можно указать при создании подключения к базе данных?
    – danilshik
    31 мар 2019 в 15:27

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.