Всех приветствую ! Я парсю этот новостной ресурс.После чего спарщенные данные(заголовок,дата,текстовой контент) заношу в БД.И вот при парсинге этой страницы .
У меня Pymysql(библиотека которую я использую для insert'a в БД) ругается на текстовой контент страницы. Судя по traceback:
pymysql.err.InternalError: (1366, "Incorrect string value: '\xF0\x9F\x8F\xB3\xEF\xB8...' for column 'item_text_content' at row 1")
Вот текстовой контент на которую ругается Pymysql:
This a wedding party for girl who is under 13 years old. I cried when I received this video from Bahmai County which is a county in Kohgiluyeh and Boyer-Ahmad Province in Iran. Under Islamic laws 13 year old girl can marry but cannot chose her dress code. pic.twitter.com/gqIQZDUcju — Masih Alinejad 🏳️ (@AlinejadMasih) September 2, 2019
Как стало понятно Pymysql ругается именно на этот 🏳️
символ из всего текста.
Пробовал ставить в столбец
item_text_content
сравнениеutf8mb4_bin
не помогло
Вот код подключения к БД.
connection = pymysql.connect(host = 'localhost', user = 'root', password = '', db = 'news_portal', charset = 'utf8', autocommit = True) cursor = connection.cursor()
Вопрос:Как это решить ? Какое решение вы считаете лучшим в данном случае?
UPD:
sql = "insert into items (`item_link`,`item_title`,`item_datetime`,`item_text_content`) values (%s,%s,%s,%s)"
cursor.execute(sql,(str(resource_link),str(item_title),str(item_datetime),str(item_text_content)))
Ругается на item_text_content
item_text_content = get_text_content(item_page,text_rule,text1_rule)
Вот сама функция get_text_content
def get_text_content(item_page,text_rule,text1_rule): if item_page is None: return soup = BeautifulSoup(item_page, 'lxml') item_text = soup.find(text_rule[0],{text_rule[1]:text_rule[2]}) if item_text is not None: item_text = soup.find(text_rule[0],{text_rule[1]:text_rule[2]}).text else: if (len(text1_rule) == 3): item_text = soup.find(text1_rule[0],{text1_rule[1]:text1_rule[2]}).text else: item_text = '' return item_text
pymysql.connect(
у вас указаноcharset='utf8'
(stackoverflow.com/a/11083221/5909792)?such as emoji, use "utf8mb4"
For a supplementary character, utf8[/utf8mb3] cannot store the character at all, while utf8mb4 requires four bytes to store it.
То естьДля дополнительного символа utf8 [/ utf8mb3] не может хранить символ вообще, в то время как utf8mb4 требуется четыре байта для его хранения.
В итоге как я понял:utf8mb4
должен работать