Есть парсер на python + seleniumwire.
Парсер должен работать круглосуточно, с периодичной проверкой наличия новых данных.
Все работает без ошибок, до момента сборки pyinstaller'ом для передачи файла *.exe заказчику.
Команда для сборки: pyinstaller --onefile main.py
.
Собственно заказчик запускает парсер и тут начинаются неопределенности в виде необработанного исключения, причем скрипт может проработать то час, то более суток и скрипт падает failed to execute script 'main' due to unhandled exception!
.
Traceback в основном этот: selenium.common.exceptions.WebDriverException: Message: unknown error: net::ERR_CONNECTION_CLOSED
Что то ничего из найденной информации не помогает.. Я грешу на нестабильный интернет (заказчик живет в Крыму), но ничего придумать не могу, как можно исключить падение скрипта.
Функция:
def get_html(url, proxies):
proxy = {
'proxy': {
'https': 'https://' + proxies,
}
}
options = webdriver.ChromeOptions()
options.add_argument('headless')
options.add_argument('--no-sandbox')
options.add_argument("--disable-blink-features=AutomationControlled")
options.add_argument("--disable-notifications")
options.add_argument("--disable-gpu")
options.add_argument("--disable-extensions")
options.add_experimental_option("excludeSwitches", ["enable-logging"])
options.add_argument(
"user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.84 Safari/537.36")
if proxies != '':
driver = webdriver.Chrome('chromedriver.exe', options=options, seleniumwire_options=proxy)
else:
driver = webdriver.Chrome('chromedriver.exe', options=options)
try:
driver.get(url)
except:
pass
data = driver.page_source
return data