0

Всем привет, написал парсер для телеграм, который парсит информацию о каналах и все сообщения в них. Сначала у меня была кодировка utf8general_ci. Но при парсинге выкидывало ошибку на некоторые символы, и посоветовали использовать более позднюю реализацию utf-8 - utf8mb4_bin.

Но со временем, ошибка стала появляться вновь, посоветуйте другую кодировку,

Ошибка

Illegal mix of collations (utf8mb4_bin,IMPLICIT) and (utf8_general_ci,COERCIBLE) for operation '='

Проблемные тексты

🍀🐬📈 🆈🆄🆁🅰️ 🌕🅼🅾️🅾️🅽🆅🅾️🆈🅰️🅶🅴🆁🌕

Также кидает ошибки на текст:

Prime Optimus     Incorrect string value: '\xF0\x9F\x91\x8D\xF0\x9F...' for column 'message' at row 1
Raja              Incorrect string value: '\xF0\x9F\x91\x8C U...' for column 'message' at row 1
坠入爱河           Incorrect string value: '\xF0\x9F\x93\x8C b...' for column 'message' at row 1
Roma              Incorrect string value: '\xF0\x9F\x91\x89\xF0\x9F...' for column 'message' at row 1
2
  • Приведите DDL схему Вашей таблицы. 31 мар 2019 в 3:12
  • Проблема просто в том, что вы в базе смешали кодировки utf8 и utf8mb4. Используйте ТОЛЬКО utf8mb4
    – andreymal
    31 мар 2019 в 9:51

1 ответ 1

1

Для полной поддержки Unicode Вам нужно нечто вроде:

--- For each database:
ALTER DATABASE database_name CHARACTER SET = utf8mb4 COLLATE = utf8mb4_unicode_ci;
--- For each table:
ALTER TABLE table_name CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
--- For each column:
ALTER TABLE table_name CHANGE column_name column_name VARCHAR(191) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
--- (Don’t blindly copy-paste this! The exact statement depends on
--- the column type, maximum length, and other properties.
--- The above line is just an example for a `VARCHAR` column.)

В этой статье все неплохо расписано: How to support full Unicode in MySQL databases

Вот SQLfiddle с результатами моделирования.

Важно при вставке указать SET NAMES 'utf8mb4';

А вот SET CHARACTER SET 'utf8mb4'; - указывать не надо

7
  • я изменил все текстовые поля на кодировку utf8mb4_unicode_ci, но у меня все равно пролетают ошибки Incorrent string value
    – danilshik
    31 мар 2019 в 13:29
  • utf8mb4_unicode_ci это Collate, используется при сравнениях. При загрузке данных важен Character Set. Вы его установили на utf8mb4? 31 мар 2019 в 15:22
  • вы предлагаете отправлять 3 запроса после создания cursor7
    – danilshik
    31 мар 2019 в 15:26
  • cursor.execute("SET NAMES utf8mb4;") cursor.execute("SET CHARACTER SET utf8mb4;") cursor.execute("SET character_set_connection=utf8mb4;")
    – danilshik
    31 мар 2019 в 15:26
  • Это можно указать при создании подключения к базе данных?
    – danilshik
    31 мар 2019 в 15:27

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.