0

Я написал скрипт, который в цикле постоянно парсит сайт, получая из него новые добавленные данные.
Через некоторое время работы скрипт возвращает такую ошибку:

urllib.error.URLError: <urlopen error [WinError 10060] Попытка установить соединение была безуспешной, т.к. от другого компьютера за требуемое время не получен нужный отклик, или было разорвано уже установленное соединение из-за неверного отклика уже подключенного компьютера>

3
  • 2
    Это нормально, добавляйте в код обработку этой ошибки
    – andreymal
    Commented 18 янв. 2019 в 18:10
  • Python: URLError: <urlopen error [Errno 10060] stackoverflow.com/questions/15820739/…
    – S. Nick
    Commented 18 янв. 2019 в 18:15
  • 1
    Владельцы сайтов обычно не хотят чтобы их парсили. Поэтому многие сайты имеют защиту и блокируют парсеры как только их заметят. Commented 19 янв. 2019 в 4:26

1 ответ 1

2

Сайт, скорее всего, просто отклоняет запрос. Если это действительно так, чтобы такого не происходило, можно:

  1. увеличить таймаут между запросами
  2. для каждого запроса использовать новый User-Agent (поищите в интернете списки юзерагентов или используйте библиотеку fake_useragent - https://pypi.org/project/fake-useragent/)
  3. использовать прокси

Лучше всего, совместите несколько пунктов.

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.