1

Есть необходимость отправлять уведомления разным пользователям, которые находятся в разных городах.

Есть несколько идей, как можно это сделать:

  1. Передать город, как объект в функцию Celery.

Но я где-то слышал, что передавать объект в функцию - не правильно.

@shared_task
def send_to_users(city):
    users = User.objects.filter(city=city)
    for user in users:
        send_notify(user)

Плюс, не кажется лучшим способом итерировать по queryset'у

  1. Передать city.id

Этот вариант не сильно отличается от предыдущего, разве что выборка города происходит в самой функции.

@shared_task
def send_to_users(city_id):
    city = City.objects.get(id=city_id)
    users = User.objects.filter(city=city)
    for user in users:
        send_notify(user)
  1. Создавать задачу, для каждого user.

Этот подход кажется интересным тем, что я вижу, какому user не отправилось сообщение, если что-то пошло не так

@shared_task
def send_to_user(user):
    send_notify(user)

Но не кажется правильным плодить 100500 задач, для такой простой операции.

Что должны возвращать эти функции ? Если я передаю список юзеров, которым нужно отослать уведомления, то правильно вернуть список тех, кому отправился ?

Я так понимаю, что функции celery должны быть короткими, и не включать в себя проверки на наличие в БД, проверки состояний пр.

Но когда функция вызывается из метода модели, делать выборки из БД - значит замедлить отклик.

Как делать правильно ? Какие лучшие практики ?

2
  • «не включать в себя проверки на наличие в БД» — если я всё правильно понимаю, вы неправильно понимаете. Задачи Celery по определению являются отложенными, и между моментом создания задачи и моментом выполнения задачи объект может оказаться удалён, так что лучше наличие в БД всё-таки проверить
    – andreymal
    13 июн 2017 в 13:26
  • 1. Учититывая тот факт что все в питоне объект, мне не очень понятно зачем вообще нужны параметры в функциях...) 13 июн 2017 в 13:28

1 ответ 1

2

Я бы сказал, что конкретное решение зависит от того, как много у вас пользователей, и насколько важно доставить каждому письмо. Сначала пройдусь по идеям:

  1. Как уже написали в комментариях, на момент выполнения задачи объект может быть удален. Тут скорее всего имели ввиду модель, который хранит свое состояние в БД. Объект, который свое состояние не хранит в принципе передать можно, но могут возникнуть проблемы при его десериализации. Так что с мнением, что объекты лучше не передавать в отложенные задания я полностью согласен.
  2. см пункт 1
  3. Я бы использовал такой подход, если бы количество пользователей было бы порядка сотен, и было бы очевидно, что завтра их не станет в 10-100 раз больше. Тут есть проблема в том, что такие задания могут долго выполнятся, так как на каждого пользователя открывается соединение, отправляется письмо, закрывается соединение, и происходить всякая машинерия celery. И если пользователей много, разница во времени между первым отправленным и последним отправленным письмом может быть велика.

Истина как всегда где то по середине. На мой взгляд хорошее решение этой задачи - это разбить письма, которые нужно отправить пользователям на чанки. Отправка по городам это тоже своего рода разбиение, но сдается мне что оно далеко не равномерное, и процентов 80 пользователей могут находится в одном городе.

Сделайте в celery две задачи:

  1. mailing_by_city(city_id) - отправка писем пользователям конкретного города. Функция будет выбирать пользователей для города, нарезать их на куски, и передавать в функцию send_emails. Так же возможно, что она будет дожидаться результата отправки писем, тут лучше отправку выделить в отдельную очередь

  2. send_emails(users) - будет отправлять письма группе пользователей, и возвращать результат отправки.

Про функции в celery - они должны быть такими, какими требуется. Если требуются какие то длительные вычисления или парсинг достаточно больших документов, то функции будут выполнятся медленно. Такие функции лучше выделять в отдельные очереди, и назначать им отдельных воркеров.

Если функция в фоновом режиме обрабатывает и анализирует запрос пользователя, и сохраняет результат этого анализа - то тут как ни крути в базу надо сходить.

Я бы сказал что функции должны выполнять одну конкретную задачу. Конкретность должна определятся здравым смыслом. Если функция будет слишком медленной, или задач будет очень много, то такие функции/задачи лучше выделять в отдельные очереди.

Вот несколько полезных ссылок:

  1. нарезка на чанки в celery
  2. массовая рассылка писем в django. Проблема этой функции в том, что она возвращает только количество отправленных писем. Никакой дополнительной обработки. Можно по подобию сделать свою функцию отправки писем.
  3. приложение для отправки писем django-celery-email. Тут уже интереснее, в принципе реализована та концепция нарезки на чанки, которую я описал. Переотправка писем, если они упали с ошибкой происходит, но опять же никакой дополнительной обработки нет. Можно доработать код, и добавить обработчик неотправленного письма. Главное понимать, что с этим неотправленным письмом потом делать.
1
  • Тот ответ, которого я ждал! Большое спасибо! 14 июн 2017 в 11:53

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.