3

При попытке получить ответ сервера по URL, который СОВЕРШЕННО ТОЧНО редиректит по 307 коду (по 301 скорее всего тоже), urllib3 возвращает 200-й ответ сервера, что дезинформирует. Нужно знать, когда страница возвращает 307-й ответ. Как быть?

Ниже привожу часть кода, которая у меня за это дело отвечает. Пробовал через Requests, та же история.

from urllib.request import *
from urllib.error import *

    def __init__(self, urls):
        super().__init__()

        self.urls = urls

    def run(self):
        for url in self.urls:
            try:
                code = urlopen(url).getcode()
            except HTTPError as e:
                # Пусть будет исключение
                code = str(e)
11
  • 1
    Ваш код не может давать 200 код, там где 307. Воспользуйтесь wireshark и сами увидите. 17 окт 2018 в 10:17
  • Или Вы хотите exeption там где будет не 200? Его не будет, если сами не сгенерируете по условию. 17 окт 2018 в 10:19
  • как минимум я добавил бы print(code) для прояснения ситуации. 17 окт 2018 в 10:20
  • 3
    Если через requests - использовать опцию allow_redirects=False, тогда автоматического перехода по редиректу не будет: Redirection and History
    – insolor
    17 окт 2018 в 10:27
  • 1
    ассоциация: stackoverflow.com/questions/110498/…
    – andreymal
    17 окт 2018 в 13:10

2 ответа 2

4

Если использовать модуль requests, то при запросе можно указать параметр allow_redirects=False, тогда автоматическое перенаправление выполняться не будет:

r = requests.get('http://ya.ru/')
print(r)  # <Response [200]>
print(r.url)  # https://ya.ru/ - автоматически перенаправлено на https

r = requests.get('http://ya.ru/', allow_redirects=False)
print(r)  # <Response [302]>

Документация: Redirection and History

3

Модуль urllib автоматически ходит по перенаправлениям. Не знаю, по какому недоразумению отсутствует штатная возможность отключения этого, но можно написать свой отключающий handler:

class NoRedirectHandler(urllib.request.HTTPRedirectHandler):
    def http_error_302(self, req, fp, code, msg, headers):
        return fp

    http_error_301 = http_error_303 = http_error_307 = http_error_302

Потом создаём opener с этим handler'ом:

opener = urllib.request.build_opener(NoRedirectHandler())

Теперь можно отправлять свои запросы с помощью метода opener.open, но если хочется отключить обработку перенаправлений по умолчанию везде и сразу, то можно установить его по умолчанию:

urllib.request.install_opener(opener)

Теперь редиректы обрабатываться не будут:

r = urllib.request.urlopen('http://ya.ru/')
print(r.code)                 # → 302
print(r.url)                  # → http://ya.ru/
print(r.headers['Location'])  # → https://ya.ru/

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.