1

У меня есть вот такой паук, который должен извлечь весь видимый контент со стартопой страницы википедии:

class OrphanSpider(CrawlSpider):
  start_urls = ["https://en.wikipedia.org/wiki/Main_Page"]
  name = "wikispider"
  os.mkdir("testT5")
  def parse(self, response):
    hxs = HtmlXPathSelector(response)
    sites = hxs.select("//body")
    items = []
    f1 = open("testT5/wiki.txt",'w')
    for site in sites:    
      item = OrphanageItem()
      item['id'] = site.select("//body//text()").extract()   
      items.append(item)
      plain_text= ''.join(items).strip()
      f1.write(str(plain_text))
    return plain_text

Но возникает вот такая ошибка:

TypeError: sequence item 0: expected string, OrphanageItem found

Как решить эту проблему?

7
  • plain_text= ''.join(items).strip() - join ожидает получить список строк. Попробуйте, например plain_text= ''.join([str(item) for item in items]).strip(). ''.join([1,2,3]) выдает ту же ошибку.
    – andy.37
    12 янв 2016 в 13:43
  • Это я понял, мне нужно решение проблмы) 12 янв 2016 в 14:44
  • так вот же: plain_text= ''.join([str(item) for item in items]).strip(). Возможно, придется определить метод __str__() в классе OrphanageItem (альтернативы: __repr__, __unicode__)
    – andy.37
    12 янв 2016 в 14:58
  • Вроде заработало, но в сохранившемся тексте теперь появились всякие символы юникода типо : u'\n\t\t\t\t', Как от них избавиться? 12 янв 2016 в 15:28
  • \n\t - это не символы Юникода, это символы табуляции и перевода строки. Если они были в исходном тексте - они там и остались. Уверены, что от них надо избавляться? Избавиться-то несложно...
    – andy.37
    12 янв 2016 в 15:34

1 ответ 1

0

Заменяем строку:

plain_text= ''.join(items).strip()

на

plain_text= ''.join([str(item) for item in items]).strip()

Дело в том, что метод join ожидает на входе список строк и сам по себе не переводит элементы списка в строки.

Для того, чтобы удалить форматирование (тривиальный, хоть и не совсем корректный способ):

plain_text = plain_text.replace('\n', ' ').replace('\t', ' ')

Недостаток этого способа в том, что в тексте останется несколько пробелов на месте где было что-то типа 'текст\n\t\t\tеще какой-то текст'. Можно это реализовать с регулярками, что-то типа:

plain_text = re.sub('\s+', ' ', plain_text)

(сам не пробовал, не было не нужды, надо тестить)

Если последние методы не приводят к желаемому результату нужно добавить метод to_plain_text(self) к классу OrphanageItem (либо внешнюю функцию, если нет доступа к классу), который будет выдавать конкретный элемент в виде "плоского", неформатированного текста, соответсвенно, поменяв str(item) на item.to_plain_text().

Тут конкретные способы не зная содержимого класса описать невозможно.

1
  • 1
    В функциях, принимающих итераторы, можно передавать не генератор списка, а генераторное выражение, заодно избавившись от лишней пары скобок: ''.join(str(item) for item in items) или просто использовав функцию map: ''.join(map(str, items)) 12 янв 2016 в 19:10

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.