Проблема очень простая - банально не могу получить содержимое страницы с кириллическими символами, для примера взять хотя бы русскую Wikipedia. Используя urllib делал так, но постоянно натыкаюсь на Exception
from urllib.request import urlopen
from urllib.parse import quote
def get_content(name):
print( urlopen('http://ru.wikipedia.org/wiki/' + quote(name)).readall()
.decode('utf-8'))
get_content('лес')
такого вида:
UnicodeEncodeError: 'charmap' codec can't encode character '\xb2' in position 14187: character maps to <undefined>
Читал похожие вопросы в других обсуждениях, но не зависимо оттого, что я делаю с quote - результат пока тот же. Быть может, делаю что-то глупое, но пока просто-напросто достать страницу из вики не выходит
sys.stdout.encoding
? Просто сutf-8
всё должно работать. – approximatenumber 22 мар '16 в 7:46