0

например есть у меня вот такие правила:

rules = [
            Rule(LinkExtractor(allow='products/\w+/search/.*?page=\d+')),
            Rule(LinkExtractor(allow='products/\w+/\w+/\d+/'), callback='parse_item'),
        ]

я не хочу кешировать постраничную навигацию, но сами страницы с данными все же надо. как быть?

1 ответ 1

0

пока что использую вот такую middleware: в ней еще и куку установить можно, и еще много чего

class DisableCache(object):
    def __init__(self, settings):
        self.settings=settings

    @classmethod
    def from_crawler(cls, crawler):
        return cls(crawler.settings)
    def process_request(self,request, spider):

        rule_index=request._meta.get('rule',None) # получения индекса Rule из запроса
        response_callback=None
        if rule_index != None:
            rule = spider._rules[rule_index]
            response_callback=rule.callback # проверка что это не ссылка на продукт

        """
        отсекаем запросы без callback
        так как в данном случае callback имею только запросы на карточки объектов
        """

        if not response_callback and rule_index != None:
            cookies={
                'user-region-id':"1", 
                }
            request.meta['dont_cache'] = True # Указывает не использовать кеш
            request.cookies = cookies # тут еще можно куку установить
        return None

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.