3

Использую Celery, Celery beat, Redis, Python, Selenium В тасках селери идут обращения к разным сайтам через Selenium и получение информации с них. По расписанию каждую минуту.

Иногда на сайтах не находится элемент или он не грузится или еще что. Это все в итоге рано или поздно приводит к зависанию Селери и неработе приложения. Что мне делать и как отделить каждый таск от влияния на приложение? Мол если проблема или подвисание, таск убивается и это никак не влияет на работу приложения и селери.

Пробовал такое https://selenium-python.readthedocs.io/waits.html#explicit-waits

Результат становится чуть получше, но все равно возникает подвисание рано или поздно и все, ребут сервера нужен. В консоли вижу такое, нереальное время исполнения тасков более 10 сек и в итоге потом подвисание.

 [2021-01-29 20:59:43,903: INFO/ForkPoolWorker-1] Task tasks.btc_hashrate_vs_price[a79dae51-b5b6-42c3-8653-eb3db594a6d9] succeeded in 285.46829061600147s: None
[2021-01-29 20:59:45,813: INFO/MainProcess] Received task: tasks.btc_rsi[f2395a63-885e-4339-954e-f5aa7b7488c3]  
[2021-01-29 21:04:13,102: ERROR/ForkPoolWorker-1] Message: unknown error: DevToolsActivePort file doesn't exist

[2021-01-29 21:04:15,840: INFO/ForkPoolWorker-1] Task tasks.btc_predict_cycle[11eb2199-0445-4fea-9916-d303a2a93643] succeeded in 271.53123419199255s: None
[2021-01-29 21:07:28,399: INFO/MainProcess] Received task: tasks.fear_greed_index[4ecb533e-c758-4c47-b1bc-2ba13e475861]  
[2021-01-29 21:08:44,493: ERROR/ForkPoolWorker-1] Message: Can not connect to the Service chromedriver

[2021-01-29 21:08:46,465: INFO/ForkPoolWorker-1] Task tasks.btc_gold[63bb0013-f2c8-4876-9aa8-ca14ec1e8ebd] succeeded in 119.68898677200195s: None
[2021-01-29 21:09:06,504: INFO/MainProcess] Received task: tasks.btc_liquidation_exchanges[4286d9b4-4434-4149-8443-c7370a66e587]  
[2021-01-29 21:12:41,417: ERROR/ForkPoolWorker-1] Message: chrome not reachable

[2021-01-29 21:12:41,475: INFO/ForkPoolWorker-1] Task tasks.flow[f996df4e-39d3-4532-8d5c-f14de52c3280] succeeded in 233.68906934201368s: None
[2021-01-29 21:12:43,482: INFO/MainProcess] Received task: tasks.btc_yearly_candles[7227518e-06ce-41b6-b899-b10dd4bccc15]  
[2021-01-29 21:13:51,900: ERROR/ForkPoolWorker-1] Message: chrome not reachable

[2021-01-29 21:13:51,930: INFO/ForkPoolWorker-1] Task tasks.btc_wallets[0eb8e537-34b8-4512-a589-71658f91129e] succeeded in 70.32356584700756s: None
[2021-01-29 21:13:52,121: INFO/MainProcess] Received task: tasks.btc_hashrate_vs_price[2d7f3f1a-07a4-4fc4-a33c-6fe381baf9ca] 

И все... после такого лога сервер подвис с концами. Это были последние строки работы.

И time limit на таск пробовал. Ставил 20 сек и как только какой-то таск вылетал с ошибкой тайм-аута, остальные так же начинали об него спотыкаться и в итоге везде таймауты и подвисание сервера.

tasks.py

@app.on_after_configure.connect
def setup_periodic_tasks(sender, **kwargs):
    """
    Запускает периодические задачи с интервалом в указанное количество секунд.
    """
    sender.add_periodic_task(60.0, flow.s(), name='flow')
    sender.add_periodic_task(61.0, btc_wallets.s(), name='btc_wallets')
    sender.add_periodic_task(62.0, btc_rsi.s(), name='btc_rsi')


@app.task
def flow():
    try:
        get_screen_btc("flow")
    except Exception as err:
        logging.error(err)


@app.task
def btc_wallets():
    try:
        get_screen_btc("btc_wallets")
    except Exception as err:
        logging.error(err)


@app.task
def btc_rsi():
    try:
        get_screen_btc("btc_rsi")
    except Exception as err:
        logging.error(err)

screen.py

def set_chrome_options() -> None:
    """Sets chrome options for Selenium.
    Chrome options for headless browser is enabled.
    """
    chrome_options = Options()
    chrome_options.add_argument("--headless")
    chrome_options.add_argument("--no-sandbox")
    chrome_options.add_argument("--disable-dev-shm-usage")
    chrome_prefs = {}
    chrome_options.experimental_options["prefs"] = chrome_prefs
    chrome_prefs["profile.default_content_settings"] = {"images": 2}
    return chrome_options


def get_screen_btc(chart):
    driver = webdriver.Chrome(options=set_chrome_options())
    urls = {
        'flow': 'https://cryptoquant.com/sign-in',
        'btc_wallets': 'https://coinmarketcap.com/bitcoin-analytics/',
        'btc_rsi': 'https://digitalik.net/btc/rsi',
    }
    URL = urls[chart]
    driver.get(URL)
    driver.set_window_size(1920, 1080)

    try:
        element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located(
        (By.CLASS_NAME, "row"))
        )
        element.screenshot(f'{chart}.png')
   finally:
        logging.error('элемент не нашли!')
            

В коде выше я показал лишь три таска, но у меня их около 30.

Отсюда и вопрос, как решить проблему, как обуздать работу каждого таскан независимо от сервера и селении, чтобы подвисание одного не влияло на другие и подвисший перезапускался потом по очереди? Спасибо

1 ответ 1

4

У меня была похожая ситуация, первое посмотри на загрузку памяти, в твоем примере кода я не вижу,что драйвер завершает работу (т.е. закрывает браузер). Второе я бы рекомендовал тебе использовать webdriver.Remote и отдельно установить selenium server. Что тебе это даст

  1. за открытие web driver будет отвечать selenium server
  2. WebDriver Remote будет закрывать окна браузера и освобождать память

А так можно предположить что тебя блокирует сайт, из-за частого обращения к нему.

celery.py

app.conf.beat_schedule = {
    'update_balance': {
        'task': 'name tasks',# Название таски
        'schedule': 60, # Будет добавлять таски каждую минуту
        # 'schedule': crontab(minute=0, hour='*/1,6-23') 
        # Будет добавлять таски каждый час с 06:00 до 23:00
    },
}
tasks.py

@shared_task(max_retries=3, default_retry_delay=60, autoretry_for=(Exception,))
def foobar():
    pass
# Декоратор будет указывать что данную таску необходимо добавить в расписание
selenium scripts

options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument("--start-maximized")
options.add_argument('window-size=2560,1440')

with webdriver.Remote(
    desired_capabilities=options.to_capabilities(), options=options, 
    command_executor='http://127.0.0.1:4444/wd/hub') as browser:
        browser.get(url)
        #Ну а дальше уже с помощью 
        WebDriverWait(browser, 180)
            .until(EC.presence_of_element_located((By.NAME,'username')))
            .send_keys(str(login))

Обрати внимание на строку "command_executor='http://127.0.0.1:4444/wd/hub'" это путь до сервера selenium server
"java -jar -Dwebdriver.chrome.driver=PATH/chromedriver PATH/selenium-server-standalone-3.141.59.jar"

1
  • Надеюсь это поможет) 16 июн 2021 в 9:16

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.