3

Использую chromedriver. Как скрыть от сайта, что ты зашел на него при помощи Selenium?

2
  • 1
    По-моему, selenium для сайтов как честный браузер выглядит. Странно, что сайт понимает, где вы открыли его, а его через selenium. Возможно, он анализирует движение мышки
    – gil9red
    13 янв 2021 в 18:05
  • Нет, у них подгружается JS код, который определяет, что браузер используется селениумом 14 янв 2021 в 4:55

6 ответов 6

6

Добавьте user-agent аргументом в Options, например:

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
opts = Options()
opts.add_argument("user-agent=Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36")

driver = webdriver.Chrome(chrome_options=opts)

5
  • На сайте, на который я захожу, есть какая-то защита, где они распознают, что я работаю через selenium - imgur.com/8wnr2Sd Смена юзер агента не помогает 13 янв 2021 в 17:25
  • @ЛёняДекарт О, обфусцировано... 13 янв 2021 в 17:27
  • @ЛёняДекарт попробуйте еще две опции: opts.add_experimental_option("excludeSwitches", ["enable-automation"]) opts.add_experimental_option('useAutomationExtension', False)
    – Jack_oS
    13 янв 2021 в 17:43
  • @ЛёняДекарт можно адрес сайта, который детектит селениум? ps не помогли excludeSwitches и useAutomationExtension?
    – Jack_oS
    13 янв 2021 в 20:00
  • 2
    @Jack_oS Мне помогло это : chrome_options.add_argument("--disable-blink-features=AutomationControlled") 14 янв 2021 в 4:56
4

Я делаю так

from fake_useragent import UserAgent
from selenium import webdriver  # Вебморда
from time import sleep  # Для таймаута
from selenium.webdriver.chrome.options import Options  # Опции селениума

while True:
    ua = UserAgent()
    opts = Options()
    us_ag = ua.random  # Меняет регулярно юзер-агенты при запросе
    url = 'https://2ip.ru'  # Сайт для проверки измененного юзерагента

    print(us_ag)

    opts.add_argument(f"user-agent={us_ag}") #  Десктопный useragent
    driver = webdriver.Chrome(chrome_options=opts)  # Иногда нужно явно указать адрес 
        # web драйвера executable_path=r"F:\GIT\siteparser\seleniumparse\chromedriver.exe"

    driver.get(url)  # Открываем в браузере что бы убедиться в применении юзер-агента
    sleep(10)
    driver.close()
4

Проверить видит ли сайт использование webdriver можно здесь

Отключить в хроме можно так:

options.add_argument("--disable-blink-features=AutomationControlled")

Посмотреть видеогайд по отключению можно тут

2

попробуй использовать FireFox и всавить вот такой код:

option = webdriver.FirefoxOptions()
# убирает флажок что автоматизированное ПО управляет браузером
option.set_preference("dom.webdriver.enabled", False)
# подмена user-agent
option.set_preference("general.useragent.override", # вот сюда нужно ввести user-agent)
driver = webdriver.Firefox(options=option)

мне это помогло

1

У меня версия Chrome 97.0.4692.71 работает только этот вариант.

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

EXE_PATH = r'..\chromedriver.exe'
opts = Options()

opts.add_experimental_option("excludeSwitches", ["enable-automation"])
opts.add_experimental_option('useAutomationExtension', False)

driver = webdriver.Chrome(chrome_options=opts, executable_path=EXE_PATH)

driver.get('https://google.com')
time.sleep(10)

Хотя считается, что начиная с версии 79.0.3945.16 должен работать данный вариант:

option.add_argument('--disable-blink-features=AutomationControlled')

Источник: https://piprogramming.org/articles/How-to-make-Selenium-undetectable-and-stealth--7-Ways-to-hide-your-Bot-Automation-from-Detection-0000000017.html

0

Используйте selenium stealth.. Пакет python selenium-stealth для предотвращения обнаружения. Эта программа пытается сделать python selenium более скрытным.

На данный момент selenium-stealth поддерживает только Selenium Chrome.

Проходит все результаты на скрытность webdriver.

Можете сами почитать (там не много) и попробоватьselenium-stealth 1.0.6

1
  • 3
    В текущем виде ваш ответ непонятен. Пожалуйста, нажмите править под сообщением, чтобы добавить больше подробностей, которые помогут другим понять, как он отвечает на заданный вопрос. Вы можете найти больше информации о том, как писать хорошие ответы в Справке. 29 дек 2023 в 19:46

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.