5

Имеем следующий стек: Python3.4+Celery+Gevent+SQLAlchemy+Psycopg2. Запускаем планировщик:

$ celery beat -A some_module -l info

который каждые 10-15 секунд кладет в очередь задачу, и воркер:

$ celery worker -c 1000 -P gevent -l info -A some_module

Все работает, как надо, но после пары дней аптайма, процесс сжирает всю имеющуюся на машине память. Может есть у кого-нибудь идеи, как это побороть или найти узкое место?

3
  • возможно вам поможет это stackoverflow.com/questions/17541452/… 24 июл 2020 в 11:32
  • Надо код смотреть, возможно у вас где то память течет. Смущает ваш параметр ``` -c, --concurrency <concurrency> Number of child processes processing the queue. The default is the number of CPUs availableon your system. ``` На сколько я понимаю вы запускаете 1000 процессов. Попорбуйте уменьшить до 10 или до количества ядер в системе. 27 июл 2021 в 15:43
  • то что celery текет у них в документации написано
    – alex
    26 янв 2022 в 12:43

0

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Посмотрите другие вопросы с метками или задайте свой вопрос.