import requests
from lxml import etree
from io import StringIO, BytesIO
def getPage(url):
return requests.get(url)
def main():
parser = etree.HTMLParser(encoding="utf-8")
resp_obj = getPage("https://freelance.ru/projects/?spec=4&page=1")
page = resp_obj.content.decode(resp_obj.encoding).encode('utf-8').decode("utf-8")
tree = etree.parse(StringIO(page), parser)
root = tree.getroot()
div_projects = root.xpath("//div[@class='projects']")[0]
projects = div_projects.xpath('.//div[contains(@class, "public")]')
for project in projects:
print(etree.tostring(project,encoding='UTF-8',pretty_print=True, method="html"))
main()
input()
А на выводе получаю "\xd0 \xb0" и т.д. вместо кириллицы
Может кто подскажет, как нормально вывести?
.decode(resp_obj.encoding).encode('utf-8').decode("utf-8")
. Почитайте о разнице между байтами и Юникодом (текстом). Если вы хотите вывести html в консоль, то преобразуйте в unicode перед печатью. Если lxml неправильно кодировку в вашем случае определяет, то можно beautifulsoup4 использовать, чтобы кодировку найти. См. также urllib Python 3.4 проблема с кодировкой