2

При попытке спарсить web страницу выдает такую ошибку:

Traceback (most recent call last):
  File "C:\Users\Butooz\Desktop\untitled\test.py", line 10, in <module>
    print(soup.findAll('a'))
  File "C:\Users\Butooz\AppData\Local\Programs\Python\Python35-32\lib\encodings\cp866.py", line 19, in encode
    return codecs.charmap_encode(input,self.errors,encoding_map)[0]
UnicodeEncodeError: 'charmap' codec can't encode character '\xab' in position 3987: character maps to <undefined>

Скрипт выглядит так:

url = 'https://aheku.net/news/'
html = urllib.request.urlopen(url)
soup = BeautifulSoup(html, 'html5lib')
print(soup.findAll('a'))

Как это можно исправить?

6
  • Попробуйте вместо 'request' использовать 'needle', предварительно подключив его var needle = request('needle'); 24 мая 2016 в 18:44
  • 1
    Ошибка, похоже не при парсинге, а при выводе в консоль. Автор, для этого нужно так же прикладывать стек трассы -- чтобы можно было понять где случилась ошибка :)
    – gil9red
    24 мая 2016 в 18:49
  • @gil9red, внес правку
    – Bootuz
    24 мая 2016 в 18:53
  • 2
    смотрите, проблема в print, он пытался вывести в консоль, а консоль виндовая с дебильной кодировкой -- cp866, а у вас скорее всего utf-8, если не вру, то нужно декодировать в байтовую строку, а после кодировать в cp866, тогда проблем не должно возникнуть. Я с подобными случаями делал так: при выводе если ловил UnicodeEncodeError, то выводил как байтовую строку
    – gil9red
    24 мая 2016 в 19:16
  • если учесть, что я начинающий питонист, то я пока с трудом представляю себе как это реализовать в коде...
    – Bootuz
    24 мая 2016 в 19:19

1 ответ 1

4

Если хотите видеть что же пришло такое, то предлагаю выводить байтовую строку – к ней не будет использоваться кодирование, потому проблемы не встретится, но символы при этом будут в виде hex-чисел:

for a in soup.findAll('a'):
    try:
        print(a)
    except UnicodeEncodeError:
        print(a.encode('utf-8'))

В примере выше мы пытаемся вывести в консоль и если не получается, выводим байтовую строку

Если вы хотите работать с данными (обработка, разбор и т.п.) проблем не будет. Они возникнут исключительно при выводе в консоль. У линуксов консоли utf-8 поддерживают и там таких проблем не будет. Если же вам нужно собирать данные, то можно вместо вывода в консоль, выводить в файл –- проблем с кодировкой не будет -- нужно при создании файла указать кодировку utf-8, иначе выберется системная, которая может отличаться.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.