-1
import requests
from lxml import etree
from io import StringIO, BytesIO

def getPage(url):
    return requests.get(url)


def main():
    parser = etree.HTMLParser(encoding="utf-8")
    resp_obj = getPage("https://freelance.ru/projects/?spec=4&page=1")
    page = resp_obj.content.decode(resp_obj.encoding).encode('utf-8').decode("utf-8")
    tree = etree.parse(StringIO(page), parser)
    root = tree.getroot()
    div_projects = root.xpath("//div[@class='projects']")[0]
    projects = div_projects.xpath('.//div[contains(@class, "public")]')
    for project in projects:
        print(etree.tostring(project,encoding='UTF-8',pretty_print=True, method="html"))

main()
input()

А на выводе получаю "\xd0 \xb0" и т.д. вместо кириллицы

Может кто подскажет, как нормально вывести?

7
  • 1
    lxml.de/api/lxml.etree-module.html#tounicode вместо string нужно использовать tounicode, пример кода если найду напишу. use tostring(el, encoding='unicode') instead.
    – Igor
    8 авг 2016 в 7:05
  • но в таком случае у меня теперь " 'charmap' codec can't encode character '\u2026' in position 649: character maps to <undefined> " ошибочка другая. 8 авг 2016 в 8:11
  • Может расскажет кто за что минус? Или я один такой особенный у которого такая проблема? 8 авг 2016 в 9:43
  • 1
    в ответе кусок рабочего кода из одного проекта. Ошибка codec can't encode character '\u2026' - без принта попробуйте, похоже на ошибку ввода вывода если из под виндовс.
    – Igor
    8 авг 2016 в 10:04
  • 1
    не вызывайте слепо .decode(resp_obj.encoding).encode('utf-8').decode("utf-8"). Почитайте о разнице между байтами и Юникодом (текстом). Если вы хотите вывести html в консоль, то преобразуйте в unicode перед печатью. Если lxml неправильно кодировку в вашем случае определяет, то можно beautifulsoup4 использовать, чтобы кодировку найти. См. также urllib Python 3.4 проблема с кодировкой
    – jfs
    8 авг 2016 в 10:51

1 ответ 1

1

Пример, кодировка и сайта и вывода считаем utf-8

r = requests.get(url.strip())
html = lxml.html.fromstring(r.text)
title = html.xpath('//title/text()')[0].strip()
content = etree.tounicode(html.get_element_by_id('page_content'))

Рекомендуется использовать tostring, но это зависит от версии lxml на компьютере

Deprecated: use tostring(el, encoding='unicode') instead. 

Только через xpath

import requests
import lxml.html

url = 'https://freelance.ru/projects/?spec=4&page=1'
r = requests.get(url)
html = lxml.html.fromstring(r.text)
title = html.xpath('//title/text()')[0].strip()
first_topic = html.xpath(".//*[@id='col_center']/div/div[2]/div[1]/div/h2/a/span/text()")
11
  • 1
    если через requests, то лучше всего прямо в нем указать кодировку, переведет сразу в рабочий внутренний вариант, или decode encode cp-1251
    – Igor
    8 авг 2016 в 10:24
  • 1
    tostring(el, encoding='cp-1251'), но сработает ли, не знаю
    – Igor
    8 авг 2016 в 10:27
  • 1
    import lxml.html
    – Igor
    8 авг 2016 в 10:30
  • 1
    from lxml import etree
    – Igor
    8 авг 2016 в 10:31
  • 1
    там возможно все собрать через xpath, даже удобнее будет, можно весь поднятый мусор убрать, но это уже на любителя.
    – Igor
    8 авг 2016 в 10:43

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.