0

например есть у меня вот такие правила:

rules = [
            Rule(LinkExtractor(allow='products/\w+/search/.*?page=\d+')),
            Rule(LinkExtractor(allow='products/\w+/\w+/\d+/'), callback='parse_item'),
        ]

я не хочу кешировать постраничную навигацию, но сами страницы с данными все же надо. как быть?

1 ответ 1

0

пока что использую вот такую middleware: в ней еще и куку установить можно, и еще много чего

class DisableCache(object):
    def __init__(self, settings):
        self.settings=settings

    @classmethod
    def from_crawler(cls, crawler):
        return cls(crawler.settings)
    def process_request(self,request, spider):

        rule_index=request._meta.get('rule',None) # получения индекса Rule из запроса
        response_callback=None
        if rule_index != None:
            rule = spider._rules[rule_index]
            response_callback=rule.callback # проверка что это не ссылка на продукт

        """
        отсекаем запросы без callback
        так как в данном случае callback имею только запросы на карточки объектов
        """

        if not response_callback and rule_index != None:
            cookies={
                'user-region-id':"1", 
                }
            request.meta['dont_cache'] = True # Указывает не использовать кеш
            request.cookies = cookies # тут еще можно куку установить
        return None

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.