Вопросы с меткой [celery]
Celery — это асинхронная распределенная очередь задач, построенная на передаче сообщений. Celery ориентирован на работу в режиме реального времени, но также поддерживает планирование.
119
вопросов
0
голосов
0
ответов
52
показа
Не выполняется корректно таска Celery (Django)
У меня есть небольшая логика вызова тасков, есть модель достижений для юзеров (условно сделай то и получишь опыт и сможешь поднять уровень профиля). Есть сигнал:
@receiver(post_save, sender=...
2
голоса
2
ответа
117
показов
Почему отложенное задание от celery срабатывает через раз?
Я сделал таск, который, по логике, должен был удалять событие с истекшим временем. Но, когда таск проходит 2 раз после предыдущего раза, он вызывает одну и ту же ошибку с закрытием обработчика.
tasks/...
0
голосов
0
ответов
18
показов
Отслеживание файлов и передача данных в aiogram
Стоит задача отслеживать появление видео в разных домашних папках пользователей linux, и регулярно отправлять видео в бота aiogram. Причем отслеживание нужно начинать только с того момента, когда ...
0
голосов
0
ответов
20
показов
Как настроить celery beat для запуска парсера в проекте django?
Имеется небольшой проект на django по сбору вакансий, вот ссылка на репазиторий https://github.com/Aliaksandrsw/servicejob Для запуска парсера с определенной переодтчностью я хочу использовать celery ...
1
голос
1
ответ
39
показов
Celery не может подключится к Postgres Django
Проблема заключается в том, что контейнер Celery не может подключится к базе данных Postgres, когда начинает выполнять таску. В чем может быть проблема?
При отправке таски выдает такую ошибку - django....
0
голосов
0
ответов
23
показа
Не подключается к веб-интерфейсу celery flower
Запускаю в своем проекте celery worker следующим образом:
celery -A celery_app:celery_app worker -P threads
далее запускаю flower следующим образом:
celery -A celery_app:celery_app flower
Получаю ...
0
голосов
0
ответов
53
показа
Ошибка: google.auth.exceptions.TransportError: Unable to find the server at oauth2.googleapis.com
Я делаю проект на django. С помощью celery мне надо в определённое время обновлять гугл таблицу, закидывая в неё новые данные из стороннего api. Но как только celery получает задачу, у меня возникает ...
0
голосов
0
ответов
46
показов
Добавление задачи по расписанию в Celery
Пытаюсь написать свой первый бот на aiogram. Есть такой хендлер:
@router.callback_query(F.data == 'subscribe')
async def subscribe(callback: CallbackQuery) -> None:
id_index = callback.message....
0
голосов
0
ответов
32
показа
Что такое heartbeat в celery?
Я уже запутался в определениях heartbeat и для чего он нужен. Где-то пишут что heartbeat нужен для проверки доступности брокера, где-то для того что бы проверять работоспособность воркера, где-то про ...
1
голос
0
ответов
22
показа
Как представить, генерировать и хранить workflow в виде графа, для его последующего использования celery
Как workflow с последовательностями задач и групповыми задачами (представленный в виде графа) хранить в бд(postgresql или другой), и запускать когда происходит какое-либо событие (слушается Kafka).
...
0
голосов
0
ответов
123
показа
Celery beat не запускается
Имеется проект, в котором использую Celery beat планировщик.
Код:
from celery.schedules import crontab
app.conf.beat_schedule = {
'run-every-midnight': {
'task': 'celery_tasks.app....
0
голосов
0
ответов
52
показа
Структура проекта django с постоянно работающим воркером
Мне нужен совет по структуре проекта.
У меня есть скрипт-воркер, который постоянно держит коннект со SteamAPI под логином и паролем для того, чтобы получать данные о пользователях и заполнять ими html....
0
голосов
0
ответов
73
показа
Проблема со временем в Docker-compose (Redis, Celery, Django)
Пишу сервис рассылки, на Django (Redis + Celery)
docker-compose.yaml
version: "3.9"
services:
redis:
image: redis
restart: always
environment:
- "TZ=Europe/Moscow&...
1
голос
0
ответов
87
показов
Почему Celery регистрирует задачи, но не выполняет их?
Код предельно простой:
tasks.py:
from celery import Celery, shared_task
app=Celery('tasks', broker='amqp://user:[email protected]:5672/vhost', backend='redis://localhost:6379/0')
@shared_task
def add(...
0
голосов
1
ответ
23
показа
TemplateDoesNotExist когда рендерю шаблон электронного письма в Django используя Celery
Я разрабатываю API для сайта-форума и имею classed-based view, которое получает запрос пользователя и отправляет ему сообщение электронной почты, чтобы подтвердить его. У меня есть задача Сelery, ...
0
голосов
0
ответов
85
показов
Ошибка celery.beat.SchedulingError: Couldn't apply scheduled task ...: send_course_update_email() missing 1 required positional argument: 'course_id'
У меня есть задача в Django rest framework, она выглядит следующим образом:
@shared_task(name='send_message_subscriptions')
def send_course_update_email(course_id):
# Список подписчиков на ...
0
голосов
0
ответов
68
показов
Как интегрировать отправку OTP с Celery в проект?
Вот мой viewset и serialsers. Я хочу интегрировать отправку OTP во время авторизации пользователя. Чтобы пройти успешную авторизацию, нужно ввести 6-ти значный OTP код. Как мне лучше это сделать? ...
1
голос
0
ответов
103
показа
Celery не находит модели при выполнении задачи
Пишу Api для телефонной рассылки, мой код принимает заявки на рассылку и когда настает время начала рассылки он отправляет запрос на внешнюю Api, которая в свою очередь отправляет сами сообщения.
Если ...
1
голос
1
ответ
758
показов
Django+Celery не выполняется task
Я хочу сделал так что при регистрации пользователя к нему на почту приходило сообщение для подтверждение почты, я подключил Celery(Redis). Но почему то сообщение на почту не отправляется, вот мой код:
...
0
голосов
1
ответ
379
показов
Как совершается очистка очереди от задач? / Как удалить задачу из брокера?
Я хочу автоматически очищать выполненные задачи( статус и id) из очереди. Результат задачи я очищаю автоматически прописав result_expires.
Но айди и статус все еще в брокере, как это можно очистить? ...
0
голосов
0
ответов
83
показа
Почему в Django не передаёт Celery task?
Запускаю в git codespace свой docker образ.
Не понимаю, почему celery не выполняет ни один task.
В логах контейнера web вижу
nnpf-web-1 | [27/Mar/2023 21:54:44] "GET / HTTP/1.1" 200 4320
...
0
голосов
1
ответ
157
показов
Отмена задачи в Celery
В коде tasks.py Есть задача:
def bar2(self, request):
progress_recorder = ProgressRecorder(self)
for i in range(7):
if self.is_aborted():
return 'Таск остановлен!'
...
0
голосов
1
ответ
217
показов
Подключить prometheus к celery-flower, запущенных в разных docker.compose.yml
Хочу подключит prometheus к celery-flower. Делаю всё по инструкции - https://github.com/mher/flower/blob/master/docs/prometheus-integration.rst
Есть 2 docker-compose.yml.
app/docker-compose.yml
...
0
голосов
0
ответов
135
показов
Потеря/незапуск таска в Celery (Django)
Всем привет!
В проекте на Django есть одна модель Table (по сути - таблица), в зависимости от значения поля task_type при создании записи в таблице запускается один из двух обработчиков (PeriodicTask) ...
1
голос
0
ответов
203
показа
Асинхронное получение статуса задачи Celery
Необходимо асинхронно получить статус задачи Celery.
Попытался сделать это через run_in_executor, но поскольку для получения статуса используется property класса AsyncResult, то обернул вызов этого ...
1
голос
1
ответ
87
показов
Как запланировать задачу на Flask?
Пытаюсь организовать задачу, но если прохожу по ссылке /test_task, то пока все не отпринтуется - я не получу на странице результат {'status': True}
from flask import Flask
App = Flask(__name__)
from ...
0
голосов
0
ответов
94
показа
missing 2 required positional arguments
пишу задачу для celory на ping всех датчиков, при получении их статуса, записываю его в базу данных, если датчик не ping, то присваиваю статус 'down'
при запуске celery -A On_OFF_sensor beat -l info
...
0
голосов
1
ответ
109
показов
Celery не может найти django-приложение
Моя цель: настроить регулярное выполнение задачи через celery.
Всё делаю по документации: https://docs.celeryq.dev/en/stable/django/first-steps-with-django.html#django-first-steps
При запуске celery ...
0
голосов
1
ответ
52
показа
Зачем после ajax запроса ставить celery?
Объясните пожалуйста, читаю статью https://habr.com/ru/company/otus/blog/503380/ там выполняется ajax запрос и после на сервере его ловит django и отправляет в celery.
Вроде бы ajax и так асинхронный ...
0
голосов
1
ответ
624
показа
Как настроить логирование Django + Celery с помощью RotatingFileHandler?
Есть сервис на Django (DRF), в котором настроена подсистема логирования. Также в сервисе есть Celery-воркер, который выполняет некоторую задачу. Я хочу настроить логирование таким образом, чтобы все ...
0
голосов
0
ответов
136
показов
Django + DRF + Celery: выполнить celery_task.delay() только после завершения транзакции (реального выполнения model.save())
Я пытался использовать указанный в доках метод on_commit, но всё равно внутри таска получаю ModelDoesNotExistError.
views.py:
class SomeViewset(viewsets.ModelViewset):
...
@action(...
0
голосов
0
ответов
43
показа
API Flower как отправить запрос
Пытаюсь через API Flower передать воркеру путь к папке /path/папка,
Работает, только если в аргументах список с цифрами data = '{"args":[1,2]}' # если INT работает.
Как сделать, чтобы в ...
0
голосов
1
ответ
659
показов
Как использовать асинхронную функцию внутри задачи celery?
Я пишу бот в айограм, нашел несколько похожих вопросов, но не смог найти то, что мне нужно.
У меня есть асинхронная функция, которую я хочу использовать в своей задаче celery, но не могу вызвать ее ...
0
голосов
1
ответ
367
показов
Как корректно перезапустить celery worker?
Как перезапустить celery worker так чтобы все текущие задачи которые начали выполнение завершились, но новые не стартовали, чтобы можно было внести определенные корректировки и перезапустить?
0
голосов
1
ответ
80
показов
При выполнении задачи по отправке sms задача печатается в консоль Celery и не отрабатывает
Вот мой код:
project/__ init __.py
from __future__ import absolute_import, unicode_literals
from .celery import app as celery_app
__all__ = ('celery_app',)
celery.py
from __future__ import ...
0
голосов
0
ответов
68
показов
Celery не работает с брокером выдает эту ошибку, кто сталкировался с подобным можете помочь?
from flask import Flask
from celery import Celery
app = Flask(__name__)
app.config['CELERY_BROKER_URL'] = 'redis://localhost:6379/0'
app.config['RESULT_BACKEND'] = 'redis://localhost:6379/0'
celery =...
0
голосов
1
ответ
357
показов
Периоды времени в celery add_periodic_task()
У меня в проекте есть код для запуска задач по времени:
@app.on_after_finalize.connect
def setup_periodic_tasks(sender, **kwargs):
sender.add_periodic_task(60.0 * 10, update_info.signature(), name=...
1
голос
1
ответ
1k
показов
Можно ли выполнять таски в Celery по очереди?
Всем привет! У меня есть две таски download_and_send_youtube_video и clear_cache_youtube_video. Код:
@celery.task
def clear_cache_youtube_video(video_path: Path):
"""Clear YouTube ...
0
голосов
0
ответов
69
показов
Функция в джанго не работает так как мне нужно
views
from django.http import HttpResponse
from .apps import price_info
from poeproject.celery import app
from .service import sk
# Create your views here.
items = []
@app.task
def poe():
global ...
0
голосов
0
ответов
61
показ
Как изменить переменную с помощь функции в python?
tasks.py
from .service import sk
item = {}
@app.task
def poe():
global item
item = sk()
return item
celery.py
from celery import Celery
from celery.schedules import crontab
os.environ....
1
голос
0
ответов
62
показа
Ежечасное начисление баланса пользователя Django [закрыт]
У модели пользователя есть IntegerField, и надо, чтоб оно с определенного момента каждый час увеличивалось на 1000. Знаю, что это делается с помощью Celery, но как именно не понимаю
0
голосов
0
ответов
1k
показов
Как запустить Celery через Docker
Пишу сайт на Django, появилась потребность в асинхронных задачах, взялся за Celery. На локальном сервере всё работает корректно, но столкнулся с проблемой при переносе.
При запуске worker'а на боевом ...
0
голосов
1
ответ
55
показов
Требует ли celery предварительного создания очередей
Требует ли celery обязательного предварительного создания очередей?
Или можно запускать её и без них (для теста запуска сервиса).
2
голоса
0
ответов
73
показа
python celery retry countdown
Ситуация:
У меня работает одновременно порядка 100 задач. И в одной из них происходит ошибка, и я через function.retry(countdown=30) пытаюсь запустить заново таску через 30 секунд. Но через 30 секунд ...
1
голос
0
ответов
464
показа
Django: Сохранение изображения из URL в ImageField
У меня есть модель Django с ImageField
image = models.ImageField (upload_to = 'products /% Y /% m /% d')
Все, что мне нужно сделать, это сохранить изображение со своего склада по уже существующему ...
0
голосов
1
ответ
157
показов
Очередь запросов на разные сервера
У меня есть сервер бэка на python и несколько серверов бд:
<-> db
-> backend <-> db
<-> db
Сейчас используется один сервер бд, мне нужно распараллелить ...
0
голосов
1
ответ
40
показов
celerybeat - отказано в доступе
Пытаюсь демонизировать celery beat.
При запуске service celerybeat start вылетает ошибка
env: /etc/init.d/celerybeat: Отказано в доступе
Причем если запускать вручную, то celery запускается
[root ...
0
голосов
0
ответов
152
показа
celery с версией 3.1.25 не работает
Я ещё новичок в celery поэтому решил пробовать максимально простой вариант. А именно сортировка чисел. Но и тут у меня не работает celery. Ранее уже гуглил и нашёл ответ что нужна версия 3.1.25! Так ...
-1
голос
1
ответ
252
показа
Celery - задачи выполнены, но результатов нет [закрыт]
Имеется странный кейс с Celery.
ОС - Убунту, 8 ядер, Redis.
Таска выполняет запрос к БД, и складывает данные в файлы на харде (по файлу на задачу). Отправляю 10 задач в очередь - в flower отмечены все ...
0
голосов
1
ответ
310
показов
Django автоматические джобы
Хочу реализовать такой функционал в django , что бы после деплоя на сервере работали автоматические джобы, которые будут выполнять определённый функционал (например каждый час создавать csv файл с ...