-1

Пытаюсь написать простенького паука чтобы вытащить данные с сайта. Задача такова - собрать имя и адрес персонального сайта в сети для каждого из зарегистрированных пользователей.

Структура сайта: плитками кликабельные участники, из информации только имя, чтобы получить адрес сайта мне надо зайти в анкету каждого участника и выйти обратно. Переход по страницам исходного сайта, т.е. перелистывание пользователей работает реализовано и работает успешно. С XPath и CSS селекторами вроде проблем нет, проходит все проверки, но паук отказывается работать. Получаю адрес страницы очередного пользователя, делаю запрос на этот URL, обрабатывается он отдельной функцией, которая должна парсить и имя и ссылку. Однако они не выводятся, вместо этого Scrapy падает с ошибкой. Подскажите, в какую сторону смотреть?

from scrapy.http import Request, Response, HtmlResponse
from scrapy.contrib.linkextractors.htmlparser import             HtmlParserLinkExtractor
from scrapy.contrib.spiders import CrawlSpider, Rule

class VuSpider(CrawlSpider):
    name = "vu2"

    allowed_domains = ["voiceoveruniverse.com"]
    start_urls = ['http://www.voiceoveruniverse.com/profiles/members/']


    def parse(self, response):
        base_url = 'http://voiceoveruniverse.com'
        SET_SELECTOR = 'div.member_item'
        for actor in response.css(SET_SELECTOR):

            NAME_SELECTOR = 'h5 a ::text'
            URL_SELECTOR = 'h5 a ::attr(href)'
            PROFILE_URL = base_url+actor.css(URL_SELECTOR)[0].extract()

            yield scrapy.Request(
                PROFILE_URL,
                callback=self.parse_item
        )

       # yield {
          #  'name': actor.css(NAME_SELECTOR).extract_first()



        #}

        NEXT_PAGE_SELECTOR = '//a[contains(text(), "Next")]/@href'
        next_page = response.xpath(NEXT_PAGE_SELECTOR).extract_first()
        if next_page:
            yield scrapy.Request(
                response.urljoin(next_page),
                callback=self.parse
        )

    def parse_item(self, response):
        yield {
           'name':response.xpath('//dl/dt/span/text()')[0].extract(),

           'URL':response.xpath('//dd/a/@href')[-1].extract()

           }

Сама ошибка:

IndexError: list index out of range
2017-01-09 17:37:50 [scrapy] ERROR: Spider error processing <GET http://voiceoveruniverse.com/profile/NathanCole?xg_source=profiles_memberList> (referer: http://www.voiceoveruniverse.com/profiles/friend/list?page=3&xg_source=profiles_memberList_top_next)
Traceback (most recent call last):
  File "/home/igor/anaconda3/lib/python3.5/site-packages/scrapy/utils/defer.py", line 102, in iter_errback
    yield next(it)
  File "/home/igor/anaconda3/lib/python3.5/site-packages/scrapy/spidermiddlewares/offsite.py", line 29, in process_spider_output
    for x in result:
  File "/home/igor/anaconda3/lib/python3.5/site-packages/scrapy/spidermiddlewares/referer.py", line 22, in <genexpr>
    return (_set_referer(r) for r in result or ())
  File "/home/igor/anaconda3/lib/python3.5/site-packages/scrapy/spidermiddlewares/urllength.py", line 37, in <genexpr>
    return (r for r in result or () if _filter(r))
  File "/home/igor/anaconda3/lib/python3.5/site-packages/scrapy/spidermiddlewares/depth.py", line 58, in <genexpr>
    return (r for r in result or () if _filter(r))
  File "/home/igor/Загрузки/UpWork/vu2/vu2/spiders/vu2.py", line 46, in parse_item
    'name':response.xpath('//dl/dt/span/text()')[0].extract(),
  File "/home/igor/anaconda3/lib/python3.5/site-packages/parsel/selector.py", line 58, in __getitem__
    o = super(SelectorList, self).__getitem__(pos)
1
  • Селекторы проверяю в консоли Scrapy. Все работает как ожидается.
    – sky
    9 янв 2017 в 14:35

2 ответа 2

0

а все дело было не в неправильных селекторах xpath. Всего то надо было вместо base_url = 'http://voiceoveruniverse.com' сделать base_url = 'http://www.voiceoveruniverse.com'

0

Проблема в том что ваш паук наследует класс CrawlSpider, а в таком случае нельзя использовать метод parse который использует сам паук по умолчанию: https://doc.scrapy.org/en/latest/topics/spiders.html. Вам надо либо использовать класс Spider или переименовать метод parse. Переменную base_url можно полностью удалить а для создания правильного линка использовать response.urljoin().Например

URL_SELECTOR = 'h5 a ::attr(href)' PROFILE_URL = base_url+actor.css(URL_SELECTOR)[0].extract()

можно переписать как

LINK = actor.css('h5 a ::attr(href)').extract()[0]
PROFILE_URL = response.urljoin(LINK)

Вам стоит прочитать базовый туториал на офф.сайте https://doc.scrapy.org/en/latest/intro/tutorial.html там есть наглядные примеры по созданию простых пауков.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.