Доброе время суток, накидал паука для сбора внешних ссылок с сайта, но не могу понять как сделать, чтобы сохранялись только уникальные ссылки. Сейчас если на сайте есть сквозная внешняя ссылка, то паук сохраняет ее каждый раз где её встречает. Запускаю паука следующей командой:
scrapy crawl crawltest --set FEED_URI=scraped_data.csv --set FEED_FORMAT=csv
Код:
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors.lxmlhtml import LxmlLinkExtractor
from scrapy.item import Item, Field
class MyItem(Item):
url= Field()
class someSpider(CrawlSpider):
name = 'crawltest'
allowed_domains = ['google.com']
start_urls = ['http://www.google.com/']
rules = (Rule(LxmlLinkExtractor(allow=(),deny=('/engine/'),unique=True), callback='parse_obj', follow=True),)
def parse_obj(self,response):
item = MyItem()
item['url'] = []
for link in LxmlLinkExtractor(allow=(),deny = self.allowed_domains,unique=True).extract_links(response):
item['url'].append(link.url)
return item