0

Всех приветствую ! Я парсю этот новостной ресурс.После чего спарщенные данные(заголовок,дата,текстовой контент) заношу в БД.И вот при парсинге этой страницы .

У меня Pymysql(библиотека которую я использую для insert'a в БД) ругается на текстовой контент страницы. Судя по traceback:

pymysql.err.InternalError: (1366, "Incorrect string value: '\xF0\x9F\x8F\xB3\xEF\xB8...' for column 'item_text_content' at row 1")

Вот текстовой контент на которую ругается Pymysql:

This a wedding party for girl who is under 13 years old. I cried when I received this video from Bahmai County which is a county in Kohgiluyeh and Boyer-Ahmad Province in Iran. Under Islamic laws 13 year old girl can marry but cannot chose her dress code. pic.twitter.com/gqIQZDUcju — Masih Alinejad 🏳️ (@AlinejadMasih) September 2, 2019

Как стало понятно Pymysql ругается именно на этот 🏳️ символ из всего текста.

Пробовал ставить в столбец item_text_content сравнение utf8mb4_bin не помогло введите сюда описание изображения

Вот код подключения к БД.

connection = pymysql.connect(host = 'localhost',
                             user = 'root',
                             password = '',
                             db = 'news_portal',
                             charset = 'utf8',
                             autocommit = True)
cursor = connection.cursor()

Вопрос:Как это решить ? Какое решение вы считаете лучшим в данном случае?

UPD:

sql = "insert into items (`item_link`,`item_title`,`item_datetime`,`item_text_content`) values (%s,%s,%s,%s)"
cursor.execute(sql,(str(resource_link),str(item_title),str(item_datetime),str(item_text_content)))

Ругается на item_text_content

item_text_content = get_text_content(item_page,text_rule,text1_rule)

Вот сама функция get_text_content

def get_text_content(item_page,text_rule,text1_rule):
    if item_page is None:
        return
    soup = BeautifulSoup(item_page, 'lxml')
    item_text = soup.find(text_rule[0],{text_rule[1]:text_rule[2]})
    if item_text is not None:
        item_text = soup.find(text_rule[0],{text_rule[1]:text_rule[2]}).text
    else:
        if (len(text1_rule) == 3):
            item_text = soup.find(text1_rule[0],{text1_rule[1]:text1_rule[2]}).text
        else:
            item_text = ''
    return item_text
10
  • Добавьте, пожалуйста, в вопрос кусочек кода с проблемной строкой. Кст, а в pymysql.connect( у вас указано charset='utf8' (stackoverflow.com/a/11083221/5909792)?
    – gil9red
    4 сен 2019 в 5:56
  • @gil9red,да в подключении к БД указано.Сейчас добавлю кусок кода 4 сен 2019 в 6:00
  • А что насчет utf8mb4 (stackoverflow.com/a/20349552/5909792)? Больше инфы: stackoverflow.com/a/30074553/5909792, там написано, что например если присутствуют эмодзи, то используй utf8mb4: such as emoji, use "utf8mb4"
    – gil9red
    4 сен 2019 в 6:06
  • @gil9red,utf8mb4 мне не помог.Я его ставил в сравнении utf8mb4.(скриншот сверху) 4 сен 2019 в 6:09
  • @gil9red,по этой ссылке(stackoverflow.com/a/30074553/5909792) я заметил такую вещь For a supplementary character, utf8[/utf8mb3] cannot store the character at all, while utf8mb4 requires four bytes to store it.То есть Для дополнительного символа utf8 [/ utf8mb3] не может хранить символ вообще, в то время как utf8mb4 требуется четыре байта для его хранения. В итоге как я понял:utf8mb4 должен работать 4 сен 2019 в 6:15

1 ответ 1

1

Взято отсюда stackoverflow.com Мой вольный перевод схожей проблемы, правда там коннект через JDBC, но смысл тот-же.

Теория

Utf8 в MySQL's допускает только сиволы Unicode, они должны быть представлены 3 байтами в UTF-8. Здесь вы имеете символ требующий 4 байт.

Если версия вашего MySQL 5.5 или более поздняя вы можете изменить кодировку вашего поля с utf8 на utf8mb4. Эта кодировка поддерживает хранение 4 байт в UTF-8.

Вы также можете задать параметр сервера character_set_server как utf8mb4 в конфигурационном файле MySQL. Это выглядит так connector-j-reference-charsets

Два примера решения с рестартом базы и без

Решение 1.

  1. Измените файл my.cnf как в примере

    [mysql]

    default-character-set=utf8mb4

    [mysqld]

    character-set-server=utf8mb4

    collation-server=utf8mb4_unicode_ci

это поможет быть уверенным, что база данных и character_set_client, character_set_connection, character_set_results используют utf8mb4 по умолчанию.

2 Перезапустите MySQL

3 Измените кодировку таблицы и столбца на utf8mb4

4 НЕ ЗАДАВАЙТЕ кодировку в своём подключении, потому-что это переопределит character_set_client, character_set_connection, character_set_results в utf8

============================

Решение 2 (без рестарта)

1 Измените кодировку таблицы и столбца на utf8mb4

2 используйте кодировку UTF-8 в вашем подключении

3 Пишите ваши sql команды как в примере ниже 'SET NAMES utf8mb4;INSERT INTO Mytable ...';

В этой теме есть комментарий, что второй способ сработал для insert'a. Так же там есть инструкция как верно сделать select.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.