2

Я новичок в RabbitMQ. Прочитал статью «Deploying Microservices Architecture with C#, Part 2».

После прочтения задался следующим вопросом. Есть ли какие-то оптимальные решения по определению количества очередей, если количество клиентов изначально неизвестно.

Дано ASP.NET MVC + RabbitMQ(Pub/Sub).

  • Вариант 1: одна очередь для всех клиентов.
  • Вариант 2: одна очередь на каждого клиента.
  • Вариант 3: пул очередей.

Как определить количество очередей в таком пуле?

1 ответ 1

3

Вообще практика зависит от конкретной задачи, но вариант с очередью для каждого пользователя - это точно не относиться к теме Rabbitmq и если вы используете это, то вы делаете что-то неправильно, очередь сообщений не создана для таких структур. Сообщений по сути всегда должно быть больше чем очередей.

Например, нам нужно обеспечить быструю и эффективную многопоточную обработку видео загружаемых пользователями. Для этого мы создаем очередь с названием video_processing и публикуем туда задачи по обработке.

  1. Пользователь зашел на сайт и загрузил видео, отправилось сообщение в очередь.
  2. Консьюмер увидел эту задачу и заблокировал ее на время выполнения
  3. Консьюмер начал обрабатывать задачу
  4. Консьюмер завершил выполнение задачи, куда-то записал отчет
  5. Консьюмер удалил задачу из очереди, таким образом сказав что она завершена успешно
  6. Пользователь получил свое конвертированное видео

В этом сценарии консьюмер мог упасть (сервер перезагрузился), и реббит легко бы отдал задачу другому консьюмеру на выполнение, и следовательно производительность вашей очереди зависит лишь от кол-ва воркеров, которые выполняют задачи из очереди. А также вы бы могли кинуть это сообщение в другую очередь и продолжить его обработку по другим алгоритмам.

Сервер очередей в основном используется для задач связанных с

  1. Обработкой данных
  2. Управлением процессами
  3. Интеграцией и взаимодействием систем

В основном делают одну очередь под определенную задачу (например, очередь отправки писем пользователям), как определить сколько вам очередей нужно, опять же зависит от вашей задачи.

4
  • пример с видео понятен. но как быть если нужно маленькое время отклика (например много пользователей ломятся за аутентификацией)
    – Atlantis
    9 сен 2016 в 7:43
  • 2
    @Atlantis RabbitMq не подходит для таких задач и использовать очередь для таких задач нецелесообразно. Если нужно увеличить скорость отклика на авторизацию, надо оптимизировать базу, использовать кеширование, мастшабирование, можно вынести авторизационный сервис в микросервис и масштабировать только его и т.д.
    – Firepro
    9 сен 2016 в 7:59
  • Спасибо за такие исчерпывающие ответы! По поводу целесообразности использования "кролика" для такой задачи - сомнения начали закрадываться уже в середине статьи, но, поскольку, я только начинаю осваивать этот инструмент, подумал что где-то не хватает знаний (хотя на самом деле теории уже очень много изучил). Остался тогда только один вопрос: может быть есть какие-то материалы, из которых можно узнать когда выгодно использовать очереди, когда нет, или это только практический опыт подскажет? Еще раз спасибо заранее!
    – Atlantis
    9 сен 2016 в 8:23
  • @Atlantis большая часть использования очередей это интеграция отдельных компонентов и отложенные задачи, вот тут неплохо описаны типичные сценарии insight-it.ru/erlang/2012/rabbitmq
    – Firepro
    9 сен 2016 в 8:31

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.