3

Использую Celery, Celery beat, Redis, Python, Selenium В тасках селери идут обращения к разным сайтам через Selenium и получение информации с них. По расписанию каждую минуту.

Иногда на сайтах не находится элемент или он не грузится или еще что. Это все в итоге рано или поздно приводит к зависанию Селери и неработе приложения. Что мне делать и как отделить каждый таск от влияния на приложение? Мол если проблема или подвисание, таск убивается и это никак не влияет на работу приложения и селери.

Пробовал такое https://selenium-python.readthedocs.io/waits.html#explicit-waits

Результат становится чуть получше, но все равно возникает подвисание рано или поздно и все, ребут сервера нужен. В консоли вижу такое, нереальное время исполнения тасков более 10 сек и в итоге потом подвисание.

 [2021-01-29 20:59:43,903: INFO/ForkPoolWorker-1] Task tasks.btc_hashrate_vs_price[a79dae51-b5b6-42c3-8653-eb3db594a6d9] succeeded in 285.46829061600147s: None
[2021-01-29 20:59:45,813: INFO/MainProcess] Received task: tasks.btc_rsi[f2395a63-885e-4339-954e-f5aa7b7488c3]  
[2021-01-29 21:04:13,102: ERROR/ForkPoolWorker-1] Message: unknown error: DevToolsActivePort file doesn't exist

[2021-01-29 21:04:15,840: INFO/ForkPoolWorker-1] Task tasks.btc_predict_cycle[11eb2199-0445-4fea-9916-d303a2a93643] succeeded in 271.53123419199255s: None
[2021-01-29 21:07:28,399: INFO/MainProcess] Received task: tasks.fear_greed_index[4ecb533e-c758-4c47-b1bc-2ba13e475861]  
[2021-01-29 21:08:44,493: ERROR/ForkPoolWorker-1] Message: Can not connect to the Service chromedriver

[2021-01-29 21:08:46,465: INFO/ForkPoolWorker-1] Task tasks.btc_gold[63bb0013-f2c8-4876-9aa8-ca14ec1e8ebd] succeeded in 119.68898677200195s: None
[2021-01-29 21:09:06,504: INFO/MainProcess] Received task: tasks.btc_liquidation_exchanges[4286d9b4-4434-4149-8443-c7370a66e587]  
[2021-01-29 21:12:41,417: ERROR/ForkPoolWorker-1] Message: chrome not reachable

[2021-01-29 21:12:41,475: INFO/ForkPoolWorker-1] Task tasks.flow[f996df4e-39d3-4532-8d5c-f14de52c3280] succeeded in 233.68906934201368s: None
[2021-01-29 21:12:43,482: INFO/MainProcess] Received task: tasks.btc_yearly_candles[7227518e-06ce-41b6-b899-b10dd4bccc15]  
[2021-01-29 21:13:51,900: ERROR/ForkPoolWorker-1] Message: chrome not reachable

[2021-01-29 21:13:51,930: INFO/ForkPoolWorker-1] Task tasks.btc_wallets[0eb8e537-34b8-4512-a589-71658f91129e] succeeded in 70.32356584700756s: None
[2021-01-29 21:13:52,121: INFO/MainProcess] Received task: tasks.btc_hashrate_vs_price[2d7f3f1a-07a4-4fc4-a33c-6fe381baf9ca] 

И все... после такого лога сервер подвис с концами. Это были последние строки работы.

И time limit на таск пробовал. Ставил 20 сек и как только какой-то таск вылетал с ошибкой тайм-аута, остальные так же начинали об него спотыкаться и в итоге везде таймауты и подвисание сервера.

tasks.py

@app.on_after_configure.connect
def setup_periodic_tasks(sender, **kwargs):
    """
    Запускает периодические задачи с интервалом в указанное количество секунд.
    """
    sender.add_periodic_task(60.0, flow.s(), name='flow')
    sender.add_periodic_task(61.0, btc_wallets.s(), name='btc_wallets')
    sender.add_periodic_task(62.0, btc_rsi.s(), name='btc_rsi')


@app.task
def flow():
    try:
        get_screen_btc("flow")
    except Exception as err:
        logging.error(err)


@app.task
def btc_wallets():
    try:
        get_screen_btc("btc_wallets")
    except Exception as err:
        logging.error(err)


@app.task
def btc_rsi():
    try:
        get_screen_btc("btc_rsi")
    except Exception as err:
        logging.error(err)

screen.py

def set_chrome_options() -> None:
    """Sets chrome options for Selenium.
    Chrome options for headless browser is enabled.
    """
    chrome_options = Options()
    chrome_options.add_argument("--headless")
    chrome_options.add_argument("--no-sandbox")
    chrome_options.add_argument("--disable-dev-shm-usage")
    chrome_prefs = {}
    chrome_options.experimental_options["prefs"] = chrome_prefs
    chrome_prefs["profile.default_content_settings"] = {"images": 2}
    return chrome_options


def get_screen_btc(chart):
    driver = webdriver.Chrome(options=set_chrome_options())
    urls = {
        'flow': 'https://cryptoquant.com/sign-in',
        'btc_wallets': 'https://coinmarketcap.com/bitcoin-analytics/',
        'btc_rsi': 'https://digitalik.net/btc/rsi',
    }
    URL = urls[chart]
    driver.get(URL)
    driver.set_window_size(1920, 1080)

    try:
        element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located(
        (By.CLASS_NAME, "row"))
        )
        element.screenshot(f'{chart}.png')
   finally:
        logging.error('элемент не нашли!')
            

В коде выше я показал лишь три таска, но у меня их около 30.

Отсюда и вопрос, как решить проблему, как обуздать работу каждого таскан независимо от сервера и селении, чтобы подвисание одного не влияло на другие и подвисший перезапускался потом по очереди? Спасибо

1 ответ 1

4

У меня была похожая ситуация, первое посмотри на загрузку памяти, в твоем примере кода я не вижу,что драйвер завершает работу (т.е. закрывает браузер). Второе я бы рекомендовал тебе использовать webdriver.Remote и отдельно установить selenium server. Что тебе это даст

  1. за открытие web driver будет отвечать selenium server
  2. WebDriver Remote будет закрывать окна браузера и освобождать память

А так можно предположить что тебя блокирует сайт, из-за частого обращения к нему.

celery.py

app.conf.beat_schedule = {
    'update_balance': {
        'task': 'name tasks',# Название таски
        'schedule': 60, # Будет добавлять таски каждую минуту
        # 'schedule': crontab(minute=0, hour='*/1,6-23') 
        # Будет добавлять таски каждый час с 06:00 до 23:00
    },
}
tasks.py

@shared_task(max_retries=3, default_retry_delay=60, autoretry_for=(Exception,))
def foobar():
    pass
# Декоратор будет указывать что данную таску необходимо добавить в расписание
selenium scripts

options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument("--start-maximized")
options.add_argument('window-size=2560,1440')

with webdriver.Remote(
    desired_capabilities=options.to_capabilities(), options=options, 
    command_executor='http://127.0.0.1:4444/wd/hub') as browser:
        browser.get(url)
        #Ну а дальше уже с помощью 
        WebDriverWait(browser, 180)
            .until(EC.presence_of_element_located((By.NAME,'username')))
            .send_keys(str(login))

Обрати внимание на строку "command_executor='http://127.0.0.1:4444/wd/hub'" это путь до сервера selenium server
"java -jar -Dwebdriver.chrome.driver=PATH/chromedriver PATH/selenium-server-standalone-3.141.59.jar"

1
  • Надеюсь это поможет) 16 июн 2021 в 9:16

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.