Просмотрел вопросы по данной тематике, но до сих пор не понятно, как обработать URL,содержащий кириллицу. Мне надо пропарсить статьи на русскоязычной и англоязычной Википедии, с англоязычной все хорошо, но когда я пытаюсь получить сайт русской Вики, появляются ошибки кодирования. Пробовал кодировать через .encode(), .decode(), однако не преуспел в этом. К примеру, я передаю сайт "https://ru.wikipedia.org/wiki/Заглавная_страница" Как правильно модифицировать данный код?
def read_site_content(self):#Данный метод открывает заданную страницу и выдает ее содержимое
return str(urlopen(self.site_name).read()))
Я использую класс, который наследуется от HTMLParser и перегружаю некоторые его методы.
import requests; url='https://ru.wikipedia.org/wiki/Пьянство'; r = requests.get(url)
вr.text
будет код страницы. но по-правильному, нужноpath
пропускать черезurllib.escape()
. – sashk 17 апр '16 в 23:33