1

Проблема такая:

  1. Допустим есть сервер A, он может обработать 10 000 клиентов и слушает сообщения из сервера B.
  2. Для каждого клиента сообщения уникальны, то есть нет нужды рассылать одно сообщения всем.

Нужно обеспечить горизонтальное масштабирование. Проблема в том, что мы не знаем к какому серверу А подключился клиент и поэтому мы не знаем куда нужно послать сообщение из B.

Почему я решил что нужно отдельный топик для каждого пользователя, а не просто поле userId? В этом случае мы потерям возможность к горизонтальному масштабированию, если у нас 30К клиентов, один сервер держит 10К клиентов, то на каждый из 3х серверов все равно польется те же 30К сообщений, которые потом нужно отфильтровать по userId.

Из того что я прикидывал в голове:

  1. Rabbitmq, Kafka не подходит из-за необходимости создавать много топиков.
  2. Redis - pubsub не масштабируется, при publish отправляет сообщение всем кластеру.
  3. Hezelcast - почти оно, если я правильно понял из доки, то отправляется всем только сообщение о подписке, что очень круто, когда в рамках одного топика идет много сообщений, но плохо когда есть большой поток подписок-отписок, а сообщений идет мало.

Тут насколько я понял, нужно шардирование. Пока что остановился на следующем: при подписке сервер записывает в редис топик и свой адрес. Паблишер вытягивает адрес сервера по топику и напрямую уже ему шлет сообщение через grpc. Таким образом я использую механизм шардирования в редисе. Что мне не нравится - велосипед; нужно отслеживать сервера, который упали/сменили адрес, что чревато багами.

Может кто-то сталкивался с похожими проблемами, может есть какая-то pubsub система, которая решает описанную задачу? Или мб какие-то инструменты, которые помогают делать sharding?

1 ответ 1

1

Сталкивались с подобным, для решения использовали PubSub от Google https://cloud.google.com/pubsub/docs/overview

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.