пока что использую вот такую middleware:
в ней еще и куку установить можно, и еще много чего
class DisableCache(object):
def __init__(self, settings):
self.settings=settings
@classmethod
def from_crawler(cls, crawler):
return cls(crawler.settings)
def process_request(self,request, spider):
rule_index=request._meta.get('rule',None) # получения индекса Rule из запроса
response_callback=None
if rule_index != None:
rule = spider._rules[rule_index]
response_callback=rule.callback # проверка что это не ссылка на продукт
"""
отсекаем запросы без callback
так как в данном случае callback имею только запросы на карточки объектов
"""
if not response_callback and rule_index != None:
cookies={
'user-region-id':"1",
}
request.meta['dont_cache'] = True # Указывает не использовать кеш
request.cookies = cookies # тут еще можно куку установить
return None