Пытаюсь сделать разбор html-страницы русскоязычного сайта. Так вот BeautifulSoup отказывается поддерживать кириллицу. Я написал это, но не помогло. Версия BeautifulSoup 3.
c=urllib2.urlopen(page)
soup=BeautifulSoup(c.read(), fromEncoding="utf-8")
Stack Overflow на русском — это сайт вопросов и ответов для программистов. Присоединяйтесь! Регистрация займёт не больше минуты.
Присоединиться к сообществуПытаюсь сделать разбор html-страницы русскоязычного сайта. Так вот BeautifulSoup отказывается поддерживать кириллицу. Я написал это, но не помогло. Версия BeautifulSoup 3.
c=urllib2.urlopen(page)
soup=BeautifulSoup(c.read(), fromEncoding="utf-8")
Надо как минимум читать заголовок полученной старницы, а именно:
Content-Type: text/html; charset=utf-8
Попробуйте указывать парсер и кодировку:
soup = BeautifulSoup(c.read(), 'html.parser', from_encoding='windows-1251')