2

Есть система которая, которая имеет django-бэкенд, некий фронтэнд, базу данных Postgres и плагин, который сохраяет некие сообщения в БД от mqtt-брокера.

Так вот, от брокера (плагина) в базе данных сохраняются сообщения не только статистики от датчиков, но и сообщения об ошибках, которые имеют критический характер. Возможно ли из БД отправлять сигнал, что появилась запись в базе данных с критическим характером? Или каким то другим образом отлавливать данные сообщения? Задача такая, чтобы пробросить эти сообщения до фронтэнда и при отключеном клиенте от web-портала отсылать ему почту или смс (здесь не так важен функционал).

Т.е. спрашивать периодически базу о таких сообщениях конечно можно, но система достаточно большая и включает в себя порядка 20к датчиков.

UPD: в комментариях было предложено использовать NOTIFY/LISTEN. Есть ли другие решения или технологии?

12
  • 2
    Notify + WebSocket 27 апр 2021 в 12:23
  • @AntonShchyrov спасибо, за направление. Прочитал и понял, что мне нужно повесить два бесконечных цикла: один NOTIFY, второй LISTEN с указанием канала. Насколько это будет дорого для БД? Хотя мысль о том, что это функционал Postgres, дает надежду, что это лучшее решение
    – Dmitry
    27 апр 2021 в 13:39
  • Я не работал с Postgres и не знаю деталей реализации, но в других СУБД клиентское подключение с LISTEN просто блокируется пока не придет событие из БД или получает асинхронное уведомление. а NOTIFY вызывается в триггере или хранимой процедуре после модификации данных. Так что никаких бесконечных циклов нет 27 апр 2021 в 14:32
  • Похоже что для LISTEN таки нужен бесконечный цикл 27 апр 2021 в 14:35
  • Если я правильно понимаю, то нужна гарантированная доставка. А LISTEN - не транзакционный и сообщения могут теряться. Чтоб сделать надежную доставку уведомлений без потерь, слушателя нужно усложнить (ему придется хранить информацию о том, какие уведомления он уже получил, а перед подпиской проверять нет ли пропущенных). Из того, что вы описали, то лучше всего использовать mqtt, а не пытаться из БД это добыть. Например, создать отдельный топик и в него писать перед тем, как пишете в БД. Ну и отдельный подписчик на этот топик будет рассылать уведомления уже пользователям. 3 мая 2021 в 11:34

3 ответа 3

4
+50

Первое от чего стоит отталкиваться это то, что БД ни при каких обстоятельствах не может сама инициировать подключение. Всё общение с БД происходит по принципу: один запрос пользователя - один ответ от БД. Соответственно никакой сигнал или что-то ещё она вам отправлять не будет ни при каких обстоятельствах. Это говорит о том, что дальше будет 2 пути развития:

  1. Самый тупой и лёгкий. Периодическая задача, которая скажем, выполняется раз в минуту и проверяет не появилось ли в БД чего нового. Это приводит к тому, что появляется лишняя нагрузка на БД и мы тратим лишние ресурсы. Так же это происходит не моментально.

  2. Самое правильное решение. О том, что появилась новая запись мы должны узнать не от БД, а от того, кто её вставил. Ваш плагин должен отправить вам "сигнал" о том, что он вставил новую запись. Готового решения нет, оно индивидуально под каждый проект и пишется самостоятельно.

Я описал лишь доставку сообщения от БД (или того кто вставляет в БД) до бэка. Доставка сообщений от бэка до фронтенда осуществляется с помощью websocket. Django один из худших вариантов для websocket, как и все другие синхронные решения. Посмотрите на асинхронные фреймворки (например fastapi, вряд ли вы найдёте что-то лучше в питоне)

10
  • django вполне себе поддерживает асинхронную обработку. Поддержка websocket-ов в джанго базируется на ней, поэтому агрумент как и все другие синхронные решения не понятен. 7 мая 2021 в 7:56
  • @RomanKonoval django не умеет в асинхронную работу с БД. Любой запрос к базе блочит экземпляр приложения, этим всё сказано
    – Inventor
    7 мая 2021 в 8:22
  • @RomanKonoval так же попрошу заметить что django channels это ни разу ни классическая питонячья асинхронность. Это лишь попытка имитировать её. Производительность таких решений очень слабая и ресурсозатратная. Я не говорил что это невозможно сделать в django, я сказал, что это плохой вариант
    – Inventor
    7 мая 2021 в 8:27
  • @Inventor я соглашусь с тобой насчет channels. Да, это имитация, но время ставит задачи и перед разработчиками django. С 3-ей версии появляются возможности для асинхронного функционала
    – Dmitry
    7 мая 2021 в 8:33
  • @Дмитрий вот специально для таких жертв маркетинга как ты залез в код django и посмотрел как django обрабатывает "асинхронные корутины". Знаешь чё они делают? Берут твою корутину и применяют к ней async_to_sync делая из твоей корутины обычную синхронную функцию и выполняют её синхронно вне event loop.
    – Inventor
    7 мая 2021 в 9:02
1

Эммм..., а что нельзя создать триггер в Postgres, который вызывает процедуру, типа:

CREATE TRIGGER on_insert
    INSTEAD OF INSERT ON my_table
    FOR EACH ROW
    EXECUTE PROCEDURE on_insert_row();

Ну а далее рученьками написать хранимку (on_insert_row()), благо у Postgres богато с этим.

Люди аж СМСки шлют - пример

1
  • А как эта процедура должна сообщить что-то бэку?
    – Inventor
    7 мая 2021 в 7:12
1

В дополнение приведу вариант с брокером (На примере Apache Kafka), можно настроить коннекторы для чтения определенной таблицы. Не работал с MQTT, но судя по документации там тоже есть коннекторы ODBC.

Если в кратце:

  1. вы подключаете коннектор на чтение на определенную таблицу(да хоть на много таблиц) и указываете в какие топики(да-да, можно писать сразу в несколько топиков) отправлять данные + прочие настройки.
  2. На стороне бека отдельной задачей в селери/отдельным потоком/отдельным микросервисом/и тд и тп что больше нравится, подписываетесь на нужные топики, и при получении сообщения выполняете необходимые действия.
2
  • Интересно, как эти коннекторы обойдутся без периодических, частых запросов в БД (то что автор вопроса хочет избежать)? 7 мая 2021 в 7:58
  • @RomanKonoval Вы правы, не акцентировал внимание на этом)
    – asanisimov
    7 мая 2021 в 8:39

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.