4
голоса
Принятый
Что делать, если Selenium в тасках Celery подвисает и блокирует работу всего Селери?
У меня была похожая ситуация, первое посмотри на загрузку памяти, в твоем примере кода я не вижу,что драйвер завершает работу (т.е. закрывает браузер).
Второе я бы рекомендовал тебе использовать ...
3
голоса
Отправка заданий в Celery внутри Docker-compose
Проблема решилась внимательным повторением примера из документации
А имменно - созданием файла init.py в директории настроек проекта с содержимым:
from __future__ import absolute_import, ...
3
голоса
Как в Django проекте в Docker корректно установить и запустить Celery c RabbitMQ?
С RabbitMQ все просто, готовый образ есть на докерхабе. Нужно лишь добавить сервис в докер композ.
rabbit:
restart: always
image: "rabbitmq:3-management"
environment:
...
3
голоса
Celery добавление переодичных задач пользователями
Используйте задачи, точно так же, как обычные функции, а нужные переменные получайте во views, например:
Есть задача:
@shared_task
def sum(a,b)
return a+b
Из интерфейса принимаете аргументы a и ...
2
голоса
Как правильно использовать Celery и Django ORM?
Я бы сказал, что конкретное решение зависит от того, как много у вас пользователей, и насколько важно доставить каждому письмо. Сначала пройдусь по идеям:
Как уже написали в комментариях, на момент ...
2
голоса
Принятый
flask запуск задач по расписанию
Вы можете легко настроить задачу Celery так, что в случае сбоя отправки письма, задача будет повторяться нужное количество раз с увеличением временного интервала между попытками. Cron вам такого ...
2
голоса
Принятый
Не могу получить список активных задач Celery
Если вы добавляли celery в ваш проект по офф. документации то можете открыть консоль через
python manage.py shell
и сделать импорт вашего celery приложения
from your_project import celery_app
Затем ...
2
голоса
Как игнорировать все возможные Ошибки в файле-классе
Добавьте декоратор к всем методам:
def wrap_except_exception(func):
def temp(*args, **kwargs):
try:
return func(*args, **kwargs)
except BaseException as e:
...
2
голоса
Принятый
Celery - задачи выполнены, но результатов нет
Внезапно, решилось добавлением --max-memory-per-child=10000 (https://docs.celeryproject.org/en/latest/reference/cli.html) при запуске Celery.
2
голоса
Принятый
Зачем после ajax запроса ставить celery?
У этого есть несколько причин.
Во-первых, у приложения, обрабатывающего веб запросы часто ограниченое количество процессов или потоков отвечающих за обработку запросов. Если обработка какого-то ...
2
голоса
Принятый
Почему отложенное задание от celery срабатывает через раз?
Первое:
в функции delete_event Вы не вызываете await session.commit()
При выполнении операций INSERT , UPDATE , DELETE вам нужно вызвать commit ,
чтобы эти изменения были зафиксированы.
Это ...
1
голос
Почему отложенное задание от celery срабатывает через раз?
Если кому-то будет полезно, то проблема была в декораторе async_task, который я использовал для выполнения асинхронных функций внутри таска.
Для решения моей проблемы мне помогло обернуть мою таску в ...
1
голос
Принятый
Django+Celery не выполняется task
Мне с такой проблемой помогла библиотека eventlet:
pip install eventlet
Затем нужно добавить в запуске:
celery -A <project_name> worker --loglevel=info -P eventlet
1
голос
Принятый
Как совершается очистка очереди от задач? / Как удалить задачу из брокера?
Всё оказалось куда проще:
во-первых, pending означает, что он не знает о задаче.
По умолчанию, задача всегда pending до SUCCESS, если не включен task_track_started.
Когда, воркер забирает задачу, он ...
1
голос
Принятый
Как запланировать задачу на Flask?
для вызова отложенной задачи вы должны использовать apply_async/delay.
@App.route('/test_task', methods=['GET'])
def test_task():
print('=== test_task ===')
for i in range(100000):
...
1
голос
Принятый
Как корректно перезапустить celery worker?
Судя по ответам с stackoverflow.com достаточно kill -TERM pid. Воркер перестает принимать новые задания и завершается после окончания тех что есть. Дальше супервизор перезапускает воркера.
1
голос
Принятый
При выполнении задачи по отправке sms задача печатается в консоль Celery и не отрабатывает
Печатает в консоль потому что settings.DEBUG == true. По-этому выполняется все, что внутри условия, а это - logger.info().
Нужно убрать else: в функции send_sms:
def send_sms(phone, msg):
params = ...
1
голос
Принятый
Требует ли celery предварительного создания очередей
Для работы в конфигурации celery нужно указать, какой брокер использовать, т.е. тип брокера и адрес.
celery сама позаботится обо всем, включая создание очередей.
Если вопрос про то, сможет ли celery ...
1
голос
Принятый
Django автоматические джобы
celery для работы требует хранилище.
Это может быть rabbitmq или redis (и еще есть варианты). Это значит нужно где-то иметь запущенный сервис хранилища, чтоб celery можно было использовать. Вы ...
1
голос
Принятый
Как остановить текущую задачу Celery?
Решил проблему так:
создал глобальную переменную process_id, и в функции start() после начала фоновой задачи, присвоил этой переменной id задачи
process = action.delay(account.login_inst, account....
1
голос
Принятый
Celery не может подключится к базе Postgres Docker
Если приложение действительно работает, то проблема, очевидно в различии конфигураций приложения и celery. Из того, что сразу бросается в глаза:
контейнер celery не добавлен в сеть main, по-этому ...
1
голос
Синхронная очередь задач Celery
Возможно стоит попробовать использовать цепочки(Chains), подробнее здесь:
https://docs.celeryproject.org/en/latest/userguide/tasks.html#avoid-launching-synchronous-subtasks
https://stackoverflow.com/...
1
голос
Принятый
Object of type User is not JSON serializable
Ваша ошибка связана с тем что объект User не может быть преобразован в данные подходящие для json. Как вариант то можете убрать 'user': user из context. Если объект user ваш необходим а дальнейшем то ...
1
голос
Принятый
Как периодически ставить задани в очередь вместо их выполнения
Так как celery использует multiprocessing для выполнения заданий, Вы можете использовать multiprocessing.Semaphore([value]) для того чтоб притормозить выполнение заданий.
import multiprocessing
sema ...
1
голос
Принятый
Проблемы с запуском Celery-задач в асинхронной функции
Установил причину такого поведения.
Дело в том, что worker'ы подвисли и "превратились в демонов" оторвавшись от родительского процесса.
Как выяснил:
Отключил worker в терминале.
Открыл админ-панель ...
1
голос
Не выполняются задачи Celery проект Django
Я пока тоже только учусь разбираться с celery, в связке с RabbitMQ. Мне в данном случае помогло, при запуске celery прописать в терминале так:
celery -A myshop worker -l info --pool=solo
P.S. ...
1
голос
Принятый
Теряются задачи
итак, суть проблемы заключалась в слишком большом кол-ве работников. как только уменьшил их кол-во до 20 все стало работать отлично. я не знаю с чем это связано, было бы здорово если тот кто знает ...
1
голос
Принятый
Django: Выполнение задачи Celery при сохранении формы
Попробуйте воспользоваться сигналом post_save для этой задачи.
Сам сигнал срабатывает (то есть, выполняется функция notify) после сохранения модели. В функцию передаются несколько аргументов, один из ...
1
голос
flask запуск задач по расписанию
Celery и Redis - это дополнительные сущности, которые нужно настраивать и поддерживать. Для Celery нужен дополнительно брокер сообщений, и база данных для хранения результатов. Если задание всего одно,...
1
голос
Принятый
Получение id задачи через python-код от celery
Можно использовать inspect.
from celery.task.control import inspect
i = inspect()
i.active() # вернет все активные таски
i.reserved() # вернет таски которые ждут своей очереди
В ответе вы сможете ...
Допускаются только превышающие минимальную длину ответы с наивысшим рейтингом, не являющиеся общими
Связанные метки
celery × 121python × 91
django × 77
python-3.x × 18
redis × 16
rabbitmq × 15
docker × 10
docker-compose × 6
task × 5
django-rest-framework × 4
celerybeat × 4
postgresql × 3
flask × 3
cron × 3
многопоточность × 2
aiogram × 2
python-3.5 × 2
supervisord × 2
linux × 1
ajax × 1
парсер × 1
nginx × 1
изображения × 1
сервер × 1
selenium × 1