0

Возникает ошибка:

UnicodeEncodeError: 'ascii' codec can't encode characters in position 5-11: ordinal not in range(128)

Каким способом можно декодировать строку с адресом в кодировке 'utf-8' ?

import urllib.request
from urllib.request import urlopen
from urllib.parse   import quote
from bs4 import BeautifulSoup
html = urlopen('https://anapa.russianrealty.ru/Продажа-квартир/')
x = BeautifulSoup(text)
print(x)

2 ответа 2

1

Раз используете bs4, то почему бы и requests не задействовать?

# pip install requests
import requests
from bs4 import BeautifulSoup
rs = requests.get('https://anapa.russianrealty.ru/Продажа-квартир/')
root = BeautifulSoup(rs.content, 'html.parser')
print(root)

Но если таки хотите через urlopen, то нужно обработать url так, чтобы в нем были только ascii символы:

from urllib.parse import quote, urlsplit, urlunsplit

def get_ascii_url(url: str) -> str:
    url = list(urlsplit(url))
    url[2] = quote(url[2])
    return urlunsplit(url)

url = 'https://anapa.russianrealty.ru/Продажа-квартир/'
url = get_ascii_url(url)
print(url)  # https://anapa.russianrealty.ru/%D0%9F%D1%80%D0%BE%D0%B4%D0%B0%D0%B6%D0%B0-%D0%BA%D0%B2%D0%B0%D1%80%D1%82%D0%B8%D1%80/

html = urlopen(url)
...

PS. накидал еще пример, который покрывает всякие нюансы:

from urllib.parse import urlparse, urlunparse
import re

def url_encode_non_ascii(b: bytes) -> bytes:
    return re.sub(b'[\x80-\xFF]', lambda c: b'%%%02x' % ord(c.group(0)), b)


# SOURCE: https://stackoverflow.com/a/4391299/5909792
def iri_to_uri(iri: str) -> str:
    parts = urlparse(iri)
    return urlunparse(
        part.encode('idna') if parti == 1 else url_encode_non_ascii(part.encode('utf-8'))
        for parti, part in enumerate(parts)
    ).decode('utf-8')

if __name__ == '__main__':
    url = 'https://anapa.russianrealty.ru/Продажа-квартир/'
    new_url = iri_to_uri(url)
    print(new_url)
    assert new_url == 'https://anapa.russianrealty.ru/%d0%9f%d1%80%d0%be%d0%b4%d0%b0%d0%b6%d0%b0-%d0%ba%d0%b2%d0%b0%d1%80%d1%82%d0%b8%d1%80/'

    url = 'http://www.a\u0131b.com/a\u0131b'
    new_url = iri_to_uri(url)
    print(new_url)
    assert new_url == 'http://www.xn--ab-hpa.com/a%c4%b1b'

    url = 'https://ya.ru'
    new_url = iri_to_uri(url)
    print(new_url)
    assert new_url == 'https://ya.ru'

    url = 'https://google.com'
    new_url = iri_to_uri(url)
    print(new_url)
    assert new_url == 'https://google.com'

    url = 'http://домены.рф'
    new_url = iri_to_uri(url)
    print(new_url)
    assert new_url == 'http://xn--d1acufc5f.xn--p1ai'
1
0

Вы пытаетесь вывести не текст со страницы, а текст с модуля BeautifulSoup, для начала сварите суп:

soup = BeautifulSoup(html.content, 'html.parser')

А потом уже можете разбирать его на составляющие или вывести сразу весь код страницы:

print(soup)

Я бы посоветовал писать так вообще:

from bs4 import BeautifulSoup as bs
import requests

url = 'https://anapa.russianrealty.ru/Продажа-квартир/'
session = requests.Session()
r = session.get(url)
soup = bs(r.content, 'html.parser')
print(soup)
2
  • r = session.get(url) а сессию не создали :)
    – gil9red
    13 июн 2019 в 18:16
  • @gil9red пардон, поправил)) 13 июн 2019 в 18:19

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.