1

Есть парсер на python + seleniumwire. Парсер должен работать круглосуточно, с периодичной проверкой наличия новых данных. Все работает без ошибок, до момента сборки pyinstaller'ом для передачи файла *.exe заказчику. Команда для сборки: pyinstaller --onefile main.py. Собственно заказчик запускает парсер и тут начинаются неопределенности в виде необработанного исключения, причем скрипт может проработать то час, то более суток и скрипт падает failed to execute script 'main' due to unhandled exception!. Traceback в основном этот: selenium.common.exceptions.WebDriverException: Message: unknown error: net::ERR_CONNECTION_CLOSED Что то ничего из найденной информации не помогает.. Я грешу на нестабильный интернет (заказчик живет в Крыму), но ничего придумать не могу, как можно исключить падение скрипта.

Функция:

def get_html(url, proxies):
proxy = {
    'proxy': {
        'https': 'https://' + proxies,
    }
}
options = webdriver.ChromeOptions()
options.add_argument('headless')
options.add_argument('--no-sandbox')
options.add_argument("--disable-blink-features=AutomationControlled")
options.add_argument("--disable-notifications")
options.add_argument("--disable-gpu")
options.add_argument("--disable-extensions")
options.add_experimental_option("excludeSwitches", ["enable-logging"])
options.add_argument(
    "user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.84 Safari/537.36")
if proxies != '':
    driver = webdriver.Chrome('chromedriver.exe', options=options, seleniumwire_options=proxy)
else:
    driver = webdriver.Chrome('chromedriver.exe', options=options)
try:
    driver.get(url)
except:
    pass
data = driver.page_source

return data
10
  • 1
    Если исключение известно почему бы его не перехватить? 30 мая 2022 в 12:20
  • @Александр, строчка driver.get(url) помещена в обработчик try - except, причем без указания конкретного исключения.
    – andreyru02
    30 мая 2022 в 12:41
  • 1
    Вы бы код приложили, быстрее бы ответ получили.
    – Vasilijs
    30 мая 2022 в 12:48
  • Хорошо бы ещё полный стектрейс посмотреть, возможно падает не там, где вам кажется должно падать, не в том месте кода. А если в том, то перехват должен таки сработать.
    – CrazyElf
    30 мая 2022 в 13:07
  • @CrazyElf Добавил функцию в пост.
    – andreyru02
    30 мая 2022 в 13:19

0

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Посмотрите другие вопросы с метками или задайте свой вопрос.