2
#! usr/bin python3
import csv
import urllib.request
from bs4 import BeautifulSoup

def get_html(url):
    response = urllib.request.urlopen(url)
    return response.read()


reader = csv.reader(open("urls.csv"))
for row in reader:
    print (row)

def parse(html):
    soup = BeautifulSoup(html)
    search = soup.find('div', class_='search-total js-search-total')
    span = soup.find('span', class_='search-message js-page-title')
    spantext = span.text
    searchtext = search.text
    print(spantext, searchtext)

    save (searchtext, spantext, 'project.csv')

def save(searchtext, spantext, path):
    with open(path, 'w') as csvfile:
        writer = csv.writer(csvfile)
        writer.writerow(('Название', 'Кол-во'))
        writer.writerow((spantext, searchtext))
def main():
    parse(get_html('http://www.abitant.com/catalogues/bra-i-nastennye-svetilniki/companies/robers'))


if __name__ == '__main__':
    main()

Помогите, пожалуйста, решить задачу.

В urls.csv в первой колонке находятся урлы.

for row in reader:

File "/usr/lib/python3.4/codecs.py", line 319, in decode

(result, consumed) = self._buffer_decode(data, self.errors, final)

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte

3
  • Что-нибудь напечатать на экран успевает до ошибки? Если нет, первую строку urls.csv приведите, плз. Да, и в какой кодировке urls.csv сохранен?
    – andy.37
    2 дек 2015 в 11:29
  • Можно также попробовать вместо print(row) for item in row: print(item). Как ни странно, может помочь.
    – andy.37
    2 дек 2015 в 11:32
  • следует приводить полный traceback, не нужно его обрезать.
    – jfs
    3 дек 2015 в 11:16

2 ответа 2

2

open("urls.csv") в Питоне 3 декодирует текст из urls.csv, используя locale.getpreferredencoding(False) кодировку по умолчанию, которая в вашем случае utf-8.

Ошибка указывает, что urls.csv не закодирован в utf-8 -- не всякая последовательность байт может быть интерпретирована как текст в utf-8 кодировке. Выясните какую кодировку на самом деле использует urls.csv файл и передайте её в open() явно:

with open('urls.csv', newline='', encoding='настоящая кодировка') as file:
    for row in csv.reader(file):
        print(*map(ascii, row))

Можно errors параметр передать, чтобы указать каким образом ошибки, связанные с кодировкой символов, следует обрабатывать, например, 'ignore' или 'surrogateescape'.

0

В питоне весьма странная поддержка utf-8. Вышеуказанная проблема решается вот таким заголовком

#!/usr/bin/env python
# -*- coding: utf-8 -*-

(в Вашем заголовке хэшбэнг неверно написан.)

15
  • Неа, не помогло. Ошибка та же. 2 дек 2015 в 11:26
  • @Kovadim, Это же 3-й питон, там вроде все ОК с Юникодом.
    – andy.37
    2 дек 2015 в 11:27
  • все ок в 3.4, а в младше проблема есть.
    – KoVadim
    2 дек 2015 в 11:28
  • протестил у себя - проблема не воспроизводиться. Возникает вопрос - а какая ось используется?
    – KoVadim
    2 дек 2015 в 11:34
  • OS Ubuntu XFCE Python 3.4.3 (default, Oct 14 2015, 20:28:29) [GCC 4.8.4] on linux 2 дек 2015 в 11:43

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.