0

Возникает ошибка:

UnicodeEncodeError: 'ascii' codec can't encode characters in position 5-11: ordinal not in range(128)

Каким способом можно декодировать строку с адресом в кодировке 'utf-8' ?

import urllib.request
from urllib.request import urlopen
from urllib.parse   import quote
from bs4 import BeautifulSoup
html = urlopen('https://anapa.russianrealty.ru/Продажа-квартир/')
x = BeautifulSoup(text)
print(x)

2 ответа 2

1

Раз используете bs4, то почему бы и requests не задействовать?

# pip install requests
import requests
from bs4 import BeautifulSoup
rs = requests.get('https://anapa.russianrealty.ru/Продажа-квартир/')
root = BeautifulSoup(rs.content, 'html.parser')
print(root)

Но если таки хотите через urlopen, то нужно обработать url так, чтобы в нем были только ascii символы:

from urllib.parse import quote, urlsplit, urlunsplit

def get_ascii_url(url: str) -> str:
    url = list(urlsplit(url))
    url[2] = quote(url[2])
    return urlunsplit(url)

url = 'https://anapa.russianrealty.ru/Продажа-квартир/'
url = get_ascii_url(url)
print(url)  # https://anapa.russianrealty.ru/%D0%9F%D1%80%D0%BE%D0%B4%D0%B0%D0%B6%D0%B0-%D0%BA%D0%B2%D0%B0%D1%80%D1%82%D0%B8%D1%80/

html = urlopen(url)
...

PS. накидал еще пример, который покрывает всякие нюансы:

from urllib.parse import urlparse, urlunparse
import re

def url_encode_non_ascii(b: bytes) -> bytes:
    return re.sub(b'[\x80-\xFF]', lambda c: b'%%%02x' % ord(c.group(0)), b)


# SOURCE: https://stackoverflow.com/a/4391299/5909792
def iri_to_uri(iri: str) -> str:
    parts = urlparse(iri)
    return urlunparse(
        part.encode('idna') if parti == 1 else url_encode_non_ascii(part.encode('utf-8'))
        for parti, part in enumerate(parts)
    ).decode('utf-8')

if __name__ == '__main__':
    url = 'https://anapa.russianrealty.ru/Продажа-квартир/'
    new_url = iri_to_uri(url)
    print(new_url)
    assert new_url == 'https://anapa.russianrealty.ru/%d0%9f%d1%80%d0%be%d0%b4%d0%b0%d0%b6%d0%b0-%d0%ba%d0%b2%d0%b0%d1%80%d1%82%d0%b8%d1%80/'

    url = 'http://www.a\u0131b.com/a\u0131b'
    new_url = iri_to_uri(url)
    print(new_url)
    assert new_url == 'http://www.xn--ab-hpa.com/a%c4%b1b'

    url = 'https://ya.ru'
    new_url = iri_to_uri(url)
    print(new_url)
    assert new_url == 'https://ya.ru'

    url = 'https://google.com'
    new_url = iri_to_uri(url)
    print(new_url)
    assert new_url == 'https://google.com'

    url = 'http://домены.рф'
    new_url = iri_to_uri(url)
    print(new_url)
    assert new_url == 'http://xn--d1acufc5f.xn--p1ai'
1
0

Вы пытаетесь вывести не текст со страницы, а текст с модуля BeautifulSoup, для начала сварите суп:

soup = BeautifulSoup(html.content, 'html.parser')

А потом уже можете разбирать его на составляющие или вывести сразу весь код страницы:

print(soup)

Я бы посоветовал писать так вообще:

from bs4 import BeautifulSoup as bs
import requests

url = 'https://anapa.russianrealty.ru/Продажа-квартир/'
session = requests.Session()
r = session.get(url)
soup = bs(r.content, 'html.parser')
print(soup)
2
  • r = session.get(url) а сессию не создали :)
    – gil9red
    13 июн 2019 в 18:16
  • @gil9red пардон, поправил)) 13 июн 2019 в 18:19

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.