2

Добрый день, Есть сайт, на котором на главной странице тизеры статей - это и будет стартовая страница парсинга. С неё паук ходит по страницам статей и собирает данные по каждой статье - автор, рейтинг статьи, дата публикации и т.д. И это мой паук делает отлично.

import scrapy
from scrapy.spiders import Spider
from sxtl.items import SxtlItem
from scrapy.http.request import Request


class SxtlSpider(Spider):
    name = "sxtl"

    start_urls = ['some_site']


    def parse(self, response):

        list_of_stories = response.xpath('//div[@id and @class="storyBox"]')

        item = SxtlItem()

        for i in list_of_stories:

            pre_rating = i.xpath('div[@class="storyDetail"]/div[@class="stor\
                yDetailWrapper"]/div[@class="block rating_positive"]/span/\
                text()').extract()
            rating = float(("".join(pre_rating)).replace("+", ""))

            link = "".join(i.xpath('div[@class="wrapSLT"]/div[@class="title\
                Story"]/a/@href').extract())

            if rating > 6:
                yield Request("".join(link), meta={'item':item}, callback=\
                                                            self.parse_story)
            else:
                break

    def parse_story(self, response):

        item = response.meta['item']

        number_of_pages = response.xpath('//div[@class="pNavig"]/a[@href]\
                                        [last()-1]/text()').extract()

        if number_of_pages:
            item['number_of_pages'] = int("".join(number_of_pages))
        else:
            item['number_of_pages'] = 1

        item['date'] = "".join(response.xpath('//span[@class="date"]\
                                                /text()').extract()).strip()
        item['author'] = "".join(response.xpath('//a[@class="author"]\
                                                /text()').extract()).strip()
        item['text'] = response.xpath('//div[@id="storyText"]/div\
                [@itemprop="description"]/text() | //div[@id="storyText"]\
                        /div[@itemprop="description"]/p/text()').extract()
        item['list_of_links'] = response.xpath('//div[@class="pNavig"]\
                                            /a[@href]/@href').extract()

        yield item

В этом случае все собирается хорошо, но мы имеем ТОЛЬКО первые страницы всех статей. НО... проблема в том, что почти каждая статья имеет продолжение на других страницах, т.е. там есть ссылки на 2,3,4,5 страницы статьи. И вот тут возникает проблема. Я меняю yield item на вот это:

yield Request("".join(item['list_of_links'][0]), meta={'item':item}, \
                                                callback=self.get_text)


def get_text(self, response):

    item = response.meta['item']

    item['text'].extend(response.xpath('//div[@id="storyText"]/div\
        [@itemprop="description"]/text() | //div[@id="storyText"]\
                /div[@itemprop="description"]/p/text()').extract())

    yield item

Паук идет на следующую страницу статьи, но вторые страницы он уже лепит как попало. Т.е. 2ю страницу 1й статьи он может добавить к 1й странице 5-й статьи. 2ю страницу 3й статьи, прикрепить к первой странице 9й статьи.

Подскажите, пожалуйста, как парсить сайт, если инфа, которую нужно собрать в один item находится на нескольких страницах сайта? (в моем случае, как сделать, чтобы данные из разных item'ов не перемешивались между собой)?

Заранее спасибо.

1 ответ 1

0

После многочисленных попыток и курений мануалов нашел решение и, возможно, даже объяснение. )

item = SxtlItem()

вот это объявление item'a нужно перенести из функции parse - в начало функции parse_story вместо строки item = response.meta['item']. Тогда все работает корректно.

Объяснение(как его вижу): до этого item объявлялся один раз в программе, и пока он экспортировался сразу после чтения одностраничной истории, то как-то обнулялся (а точнее, не обнулялся, а просто все поля переписывались поверх новыми значениями и это выглядело как новый правильный айтем). А при многостраничных историях - он оставался тем же самым одним айтемом и поле текста дописывалось новым продолжением при каждом новом обходе цикла (еще один глюк, который обнаружился при копании вглубь - многостраничные истории дублировали друг друга - т.е были не много перемешанными, а одна перемешанная, повторенная несколько раз.) Вобщем, вся проблема в том, что создание айтема нужно повторять столько же раз, сколько айтемов планируется получить. (объявление айтема помещается в тот же цикл, или в ту же функцию, где и начинается его заполнение).

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.