Всем привет, пишу бота который будет заказывать вещи с определенного сайта. Интересует как можно обойти капчу при работе с Selenium. Я пробовал подгружать профиль своего аккаунта google к webdriver, но либо я делаю что-то не так, либо этот способ не работает. Буду вам очень благодарен если подскажите как это можно сделать без машинного обучения.
-
заказывайте решение на сервисах по решению капчи, ну либо пробуйте вытаскивать изображений и обрабатывать, все зависит от сложности капчи– danilshikCommented 27 мар. 2019 в 19:19
-
@danilshik Другими способами обойти не выйдет? В моем боте очень важна скорость и боюсь если я буду обрабатывать изображения на это уйдет очень много времени. Точно такие же боты каким-то образом обходят капчу, возможно они работают не через selenium, и мне были бы интересны альтернативные способы решения проблемы.– Mal MelCommented 27 мар. 2019 в 20:19
-
ну Selenium сам по себе очень тяжелый и медленный. Попробуйте выяснить запросы, чтобы не работать на Selenium.– danilshikCommented 27 мар. 2019 в 20:26
-
Капча постоянно присутствует или по мере запросов появляется?– danilshikCommented 27 мар. 2019 в 20:26
-
@danilshik Капча присутствует только в браузере который открывается Selenium-ом, если заходить через обычный браузер и делать заказ - капчи не будет.– Mal MelCommented 27 мар. 2019 в 20:30
1 ответ
Сразу оговорюсь о том, почему перестал использовать Хром (есть вероятность что я не разобрался, и сейчас ошибаюсь, но) - когда в 60-й бета версии Хрома выпустили безголовый режим (headless), запускать в нём расширения было невозможно. Может быть в современных версиях в headless режиме уже можно использовать расширения, но тогда именно поэтому я перешёл на Firefox.
Для Chrome (приведённые команды имеют годовую давность, возможно это и сейчас работает)):
options = webdriver.ChromeOptions()
options.add_argument('load-extension=path\\to\\extension')
browser = webdriver.Chrome(chrome_options=options)
path\\to\\extension
- адрес папки, в которой лежит файл расширения
Для Firefox:
Я использую отдельный профиль для тестов (отдельная папка, и ссылка в коде на эту папку):
fp = webdriver.FirefoxProfile('UB')
browser = webdriver.Firefox(firefox_profile=fp)
в папке UB
находится папка extensions
, в которой лежит файл расширения [email protected]
. То есть, полный путь от места исполнения скрипта до файла расширения выглядит так - UB/extensions/[email protected]
.
Такой подход позволяет запускать любое количество расширений. И как плюс самого Firefox, я могу их использовать и в headless режиме)))) Но, как я сейчас заметил, в таком варианте сами расширения не обновляются. Мой uBlock для тестов версии 1.17.4, когда в обычном Firefox уже 1.18.6. Я пока не разбирался в том, как это исправить, что-бы вам побыстрее написать, что-бы вы попробовали хотя-бы так))))
И есть ещё второй вариант который я сам пока не использовал, но возможно, что предлагаемый в нём метод как раз и поможет расширениям обновляться (сам метод описан в статье на DataRebellion):
browser = webdriver.Firefox()
browser.install_addon('path\\to\\extension.xpi', temporary=True)
temporary=True
- говорит о том, что расширение устанавливается только на текущий сеанс
Возможно при temporary=False
команда install_addon
будет устанавливать расширение в профиль на "постоянной основе". Я буду пробовать)))))
-
-
@m0nte-cr1st0 вам стоит прочитать комментарии к вопросу, что-бы понимать, почему здесь такой ответ Commented 29 мар. 2019 в 0:57
-
А можно ли сделать так, чтобы расширение не загружалось каждый раз при запуске программы? Просто когда я запускаю бота, сначала идет установка AdBlock и только потом все остальные действия– Mal MelCommented 29 мар. 2019 в 13:56
-
@Mal Mel не устанавливайте тогда расширение через
install_addon
, а просто укажите папку профиля как в первом варианте)) Так браузер запускается с уже установленным расширением, и это не тратит ни время ни действия)) А капча появляется с блокировщиком? Commented 29 мар. 2019 в 14:48 -
@AtachiShadow к сожалению да, появляется, думаю единственный вариант это найти способ как-то скрыть работу через Selenium, либо использовать что-то другое для работы с браузером, но что - не знаю.– Mal MelCommented 29 мар. 2019 в 14:58