0

Я написал скрипт, который с помощью цикла постоянно парсит сайт получая из него новые добавленные данные Спустя какое-то время работы цикла выдает такую ошибку:

urllib.error.URLError: <urlopen error [WinError 10060] Попытка установить соединение была безуспешной, т.к. от другого компьютера за требуемое время не получен нужный отклик, или было разорвано уже установленное соединение из-за неверного отклика уже подключенного компьютера>
3
  • 2
    Это нормально, добавляйте в код обработку этой ошибки
    – andreymal
    18 янв 2019 в 18:10
  • Python: URLError: <urlopen error [Errno 10060] stackoverflow.com/questions/15820739/…
    – S. Nick
    18 янв 2019 в 18:15
  • Владельцы сайтов обычно не хотят чтобы их парсили. Поэтому многие сайты имеют защиту и блокируют парсеры как только их заметят. 19 янв 2019 в 4:26

1 ответ 1

2

Сайт, скорее всего, просто отклоняет запрос. Если это действительно так, чтобы такого не происходило, можно:

  1. увеличить таймаут между запросами
  2. для каждого запроса использовать новый User-Agent (поищите в интернете списки юзерагентов или используйте библиотеку fake_useragent - https://pypi.org/project/fake-useragent/)
  3. использовать прокси

Лучше всего, совместите несколько пунктов.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.