Добрый день, Есть сайт, на котором на главной странице тизеры статей - это и будет стартовая страница парсинга. С неё паук ходит по страницам статей и собирает данные по каждой статье - автор, рейтинг статьи, дата публикации и т.д. И это мой паук делает отлично.
import scrapy
from scrapy.spiders import Spider
from sxtl.items import SxtlItem
from scrapy.http.request import Request
class SxtlSpider(Spider):
name = "sxtl"
start_urls = ['some_site']
def parse(self, response):
list_of_stories = response.xpath('//div[@id and @class="storyBox"]')
item = SxtlItem()
for i in list_of_stories:
pre_rating = i.xpath('div[@class="storyDetail"]/div[@class="stor\
yDetailWrapper"]/div[@class="block rating_positive"]/span/\
text()').extract()
rating = float(("".join(pre_rating)).replace("+", ""))
link = "".join(i.xpath('div[@class="wrapSLT"]/div[@class="title\
Story"]/a/@href').extract())
if rating > 6:
yield Request("".join(link), meta={'item':item}, callback=\
self.parse_story)
else:
break
def parse_story(self, response):
item = response.meta['item']
number_of_pages = response.xpath('//div[@class="pNavig"]/a[@href]\
[last()-1]/text()').extract()
if number_of_pages:
item['number_of_pages'] = int("".join(number_of_pages))
else:
item['number_of_pages'] = 1
item['date'] = "".join(response.xpath('//span[@class="date"]\
/text()').extract()).strip()
item['author'] = "".join(response.xpath('//a[@class="author"]\
/text()').extract()).strip()
item['text'] = response.xpath('//div[@id="storyText"]/div\
[@itemprop="description"]/text() | //div[@id="storyText"]\
/div[@itemprop="description"]/p/text()').extract()
item['list_of_links'] = response.xpath('//div[@class="pNavig"]\
/a[@href]/@href').extract()
yield item
В этом случае все собирается хорошо, но мы имеем ТОЛЬКО первые страницы всех статей. НО... проблема в том, что почти каждая статья имеет продолжение на других страницах, т.е. там есть ссылки на 2,3,4,5 страницы статьи. И вот тут возникает проблема. Я меняю yield item на вот это:
yield Request("".join(item['list_of_links'][0]), meta={'item':item}, \
callback=self.get_text)
def get_text(self, response):
item = response.meta['item']
item['text'].extend(response.xpath('//div[@id="storyText"]/div\
[@itemprop="description"]/text() | //div[@id="storyText"]\
/div[@itemprop="description"]/p/text()').extract())
yield item
Паук идет на следующую страницу статьи, но вторые страницы он уже лепит как попало. Т.е. 2ю страницу 1й статьи он может добавить к 1й странице 5-й статьи. 2ю страницу 3й статьи, прикрепить к первой странице 9й статьи.
Подскажите, пожалуйста, как парсить сайт, если инфа, которую нужно собрать в один item находится на нескольких страницах сайта? (в моем случае, как сделать, чтобы данные из разных item'ов не перемешивались между собой)?
Заранее спасибо.