1

Проблема такая:

  1. Допустим есть сервер A, он может обработать 10 000 клиентов и слушает сообщения из сервера B.
  2. Для каждого клиента сообщения уникальны, то есть нет нужды рассылать одно сообщения всем.

Нужно обеспечить горизонтальное масштабирование. Проблема в том, что мы не знаем к какому серверу А подключился клиент и поэтому мы не знаем куда нужно послать сообщение из B.

Почему я решил что нужно отдельный топик для каждого пользователя, а не просто поле userId? В этом случае мы потерям возможность к горизонтальному масштабированию, если у нас 30К клиентов, один сервер держит 10К клиентов, то на каждый из 3х серверов все равно польется те же 30К сообщений, которые потом нужно отфильтровать по userId.

Из того что я прикидывал в голове:

  1. Rabbitmq, Kafka не подходит из-за необходимости создавать много топиков.
  2. Redis - pubsub не масштабируется, при publish отправляет сообщение всем кластеру.
  3. Hezelcast - почти оно, если я правильно понял из доки, то отправляется всем только сообщение о подписке, что очень круто, когда в рамках одного топика идет много сообщений, но плохо когда есть большой поток подписок-отписок, а сообщений идет мало.

Тут насколько я понял, нужно шардирование. Пока что остановился на следующем: при подписке сервер записывает в редис топик и свой адрес. Паблишер вытягивает адрес сервера по топику и напрямую уже ему шлет сообщение через grpc. Таким образом я использую механизм шардирования в редисе. Что мне не нравится - велосипед; нужно отслеживать сервера, который упали/сменили адрес, что чревато багами.

Может кто-то сталкивался с похожими проблемами, может есть какая-то pubsub система, которая решает описанную задачу? Или мб какие-то инструменты, которые помогают делать sharding?

1 ответ 1

1

Сталкивались с подобным, для решения использовали PubSub от Google https://cloud.google.com/pubsub/docs/overview

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.