0

Заранее прошу прощения, в теме только обучаюсь и это первый адекватный проект.

Суть в чём, один и тот же код отлично исполняется если я запускаю его локально, никаких проблем Но когда я запускаю скрипт внутри Selenoid который находится на сервере в облаке - сайт постоянно выдаёт капчу

В связи с чем появился вопрос, как это можно пофиксить? Есть ощущение что это блок по какому-то диапазону IP-адресов, но против этой гипотезы говорит то, что пару раз, случайно сайт меня всё таки пропустил.

Использовал вот такие опции при запуске (всё брал из интернетов в попытках наобум решить проблему):

ua = UserAgent()
us_ag = ua.chrome

capabilities = {
        "browserName": "chrome",
        "version": "83.0",
        "enableVNC": True,
        "enableVideo": False
    }

options = webdriver.ChromeOptions()
options.add_argument('--ignore-certificate-errors')
options.add_argument('--no-sandbox')
options.add_argument("--disable-blink-features=AutomationControlled")
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)
options.add_argument(f"user-agent={us_ag}")
options.add_argument("window-size=1280,800")
11
  • я как-то делал парсер на селениуме и тоже столкнулся с капчей на блокчейн сайте. Если сайт динамически через js генерит контент, то вариант идти на сайты, у которых есть api для разгадывания капч. Это платно и медленно в рамках парсинга. Если не динамически, то можешь попробовать через requests спарсить html, если только он нужен 15 мая 2022 в 15:26
  • Сайт на реакте, разгадывать капчу вариант, спасибо. Но пока интересно разобраться так, как минимум прокси наверное подешевле будет - надо лишь понять нужен ли мне прокси или можно справиться самостоятельно 15 мая 2022 в 15:29
  • Прокси, подмена печенек - толковый сайт все равно понимает, что работает selenium и выдаст капчу. Ну, по крайней мере у меня так было. Обойти её без платного варианта не получилось, а платный медленный для меня, возможно, есть другие варианты 15 мая 2022 в 15:33
  • 1
    Раз сайт динамический и требуется селениум то стоит посмотреть что под капотом у этого сайта, какие сетевые запросы он выполняет при открытии страницы. В 90% случаев удается забыть про парсинг и обращаться напрямую к API сайта за готовыми данными, где никаких капч уже нет (ну кроме случая что код капчи отдается в тот самый api, но это достаточно редки вариант)
    – Mike
    15 мая 2022 в 15:42
  • 1
    В 90% случаев читать js код вообще не нужно. запускаете хром, открываете консоль разработчика, идете на вкладку "Сеть", перегружаете изучаемую страницу. На вкладке видите все запросы которые отправлялись со всеми данными которые пришли в ответ. Включаете на вкладке фильтр "Fetch/XHR" перед вами только те запросы, которые были порождены JS кодом страницы, API запросы обычно все там
    – Mike
    15 мая 2022 в 16:53

0

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Посмотрите другие вопросы с метками или задайте свой вопрос.