Заказчик для парсинга дал большой список прокси (без авторизации) (думаю бесплатные).
Но у меня ни один прокси не грузит сайт.
Чтобы исключить ошибку в коде, я попробовал открыть yandex.ru.
Большинство прокси также не загрузило его, но некоторые все же смогли.
Но это небольшое количество не смогли загрузить сайт. Как можно точно убедиться, что это именно не ошибка в коде?
Для прокси использую следующую конструкцию
options = webdriver.ChromeOptions()
# options.add_argument("--headless")
options.add_argument("--no-sandbox")
options.add_argument("--disable-dev-shm-usage")
if (config["proxy"]["is_use"] == "true"):
proxy = get_proxy()
print("Прокси:", proxy)
options.add_argument('--proxy-server={}'.format(proxy))
Может есть способ определять статус HTTP?
Update. Я также купил прокси, но я не могу его привести к этому виду, так как для прокси с авторизацией используется другой способ подключения
Update2 Проблема кажется не в Proxy. У меня на компьютере в режиме headless не происходили клики, выбор элементов и т.д
А на сервере у заказчика они добавили options.add_argument("--headless"), так как иначе у них Google Chrome не запускался из-за ошибки
Chrome failed to start: crashed as google-chrome is no longer running so ChromeDriver is assuming that Chrome has crashed
А включение этих параметров позволяет запустить браузер
# options.add_argument("--headless")
options.add_argument("--no-sandbox")
options.add_argument("--disable-dev-shm-usage")
Что делать? Это взаимо исключающие факторы