0

У меня на бэкенде есть функционал оповещений. Раз в час скрип проходит по записям в БД и обновляет информацию по товарам. Если определенная информация изменилась (Это может быть цена или остаток на складе), то создается таск на оповещение, пример:

# создания таска для оповещения пользователю
if price != self.price:
    check_notifications.delay(poduct_id=self.pk, old_price=self.price, new_price=price)

В самом таске формируется сообщение на почту для определённой группы пользователей, исходя из полученных данных.

Столкнулся с такой проблемой. Товаров более 1млн, остаток может меняться часто и получается что раз в час почта разрывается от количества сообщений.

Какое решения я вижу: формирования списка товаров, у которых изменилась информация, по завершении скрипта формируется уже одно сообщение в котором скажем 1000 товаров, а не 1000 раздельных сообщений

Как в celery сформировать список тасков с каким-нибудь пояснением или флагом, который будет их объединять? Как такой список передать в функцию для создания сообщения? Как после завершения скрипта вызывать функцию, которая объединит информацию из всех тасков?

Буду очень благодарен за любую помощь

8
  • Как-то сложно. Зачем создавать список тасков, если можно просто создать список изменившихся товаров и потом обработать весь этот список в одной-единственной таске, которая сформирует из этого списка одно-единственное письмо? Что-то типа check_notifications_for_many_products.delay(products=products_list)
    – andreymal
    21 дек 2020 в 15:15
  • А где хранить этот список?
    – Dmitry
    21 дек 2020 в 15:23
  • А как у вас обрабатывается изменение информации? Я подразумевал, что в начале вашего скрипта можно создать переменную со списком, потом пройтись по всем товарам и заполнить список, а в конце скрипта запустить таск с этим готовым списком. Но, возможно, я что-то не понял и ваш скрипт устроен более сложно?
    – andreymal
    21 дек 2020 в 15:30
  • Получается информация о товаре в json, для примера: {"articul":"123", "qty":10, "price":1000} Выбирается товар из базы по артикулу. У товара есть метод, который принимает json и обновляет информацию по текущему экземпляру. Для размерных товаров все чуть сложнее, к ним привязана таблица размеров, но смысл остается тот же. Если какой-либо параметр изменился, то запускается таск с нужными параметрами, уже внутри него формируется сообщение.
    – Dmitry
    21 дек 2020 в 15:35
  • У вас таск запускается внутри метода товара? Если да, то, наверное, лучше таск не создавать, а вместо этого вернуть (return) информацию об изменившихся данных (например в виде словаря), тогда скрипт сможет собрать эти данные в один список и затем запустить один таск
    – andreymal
    21 дек 2020 в 15:37

1 ответ 1

0

Проще создать например модель message и fk на пользователя или группу. И в celery просто создавать запись в message. А потом уже отдельным таском бежать по пользователям и отдельным таском отправлять все сообщения разом пользователю или группе. Если надо можно их тут же удалять, чтобы не засорять БД

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.