Написал парсер сайта на Руби, достает информацию без проблем, но после 30+- обращений сайт блокирует доступ к желаемым страницам и делает переадресацию. Установил задержку, секунд через 30 продолжает парсить, но такой вариант мне не подходит, так как этот процесс затягивается на день. Вроде и куки меняю, и агент, и прокси, но все равно блочит. Подскажите может, как обойти это?
1 ответ
- Попробуй подменить user agent https://en.wikipedia.org/wiki/Web_crawler#Crawler_identification
- У сайта точно нет API?