0

Доброе время суток, накидал паука для сбора внешних ссылок с сайта, но не могу понять как сделать, чтобы сохранялись только уникальные ссылки. Сейчас если на сайте есть сквозная внешняя ссылка, то паук сохраняет ее каждый раз где её встречает. Запускаю паука следующей командой:

scrapy crawl crawltest --set FEED_URI=scraped_data.csv --set FEED_FORMAT=csv

Код:

from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors.lxmlhtml import LxmlLinkExtractor
from scrapy.item import Item, Field

class MyItem(Item):
    url= Field()


class someSpider(CrawlSpider):
    name = 'crawltest'
    allowed_domains = ['google.com']
    start_urls = ['http://www.google.com/']
    rules = (Rule(LxmlLinkExtractor(allow=(),deny=('/engine/'),unique=True), callback='parse_obj', follow=True),)

    def parse_obj(self,response):
        item = MyItem()
        item['url'] = []
        for link in LxmlLinkExtractor(allow=(),deny = self.allowed_domains,unique=True).extract_links(response):
            item['url'].append(link.url)
return item
1
  • Попробуйте использовать set вместо list для организации хранения ссылок (link.url) 8 мая 2017 в 20:21

1 ответ 1

0

Либо set, как указал Александр, либо создайте поле в классе паука и добавьте проверку

if link.url not in self.links:
    self.links.append(link.url)
    item['url'].append(link.url)

Если вы хотите пользоваться встроенным middleware, который не даёт scrapy ходить по два раза на одну ссылку (DuperFilter), то вам стоит знать, что он срабатывает после того как паук уже загрузил один раз страницу и предотвращает попытки загрузить её снова. А по вашему коду ссылки будут извлекаться все, и проверять на уникальность их вам нужно самостоятельно.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.