0

Я написал скрипт, который с помощью цикла постоянно парсит сайт получая из него новые добавленные данные Спустя какое-то время работы цикла выдает такую ошибку:

urllib.error.URLError: <urlopen error [WinError 10060] Попытка установить соединение была безуспешной, т.к. от другого компьютера за требуемое время не получен нужный отклик, или было разорвано уже установленное соединение из-за неверного отклика уже подключенного компьютера>
3
  • 2
    Это нормально, добавляйте в код обработку этой ошибки
    – andreymal
    18 янв 2019 в 18:10
  • Python: URLError: <urlopen error [Errno 10060] stackoverflow.com/questions/15820739/…
    – S. Nick
    18 янв 2019 в 18:15
  • Владельцы сайтов обычно не хотят чтобы их парсили. Поэтому многие сайты имеют защиту и блокируют парсеры как только их заметят. 19 янв 2019 в 4:26

1 ответ 1

2

Сайт, скорее всего, просто отклоняет запрос. Если это действительно так, чтобы такого не происходило, можно:

  1. увеличить таймаут между запросами
  2. для каждого запроса использовать новый User-Agent (поищите в интернете списки юзерагентов или используйте библиотеку fake_useragent - https://pypi.org/project/fake-useragent/)
  3. использовать прокси

Лучше всего, совместите несколько пунктов.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.