1

Вопрос на подумать.

Допустим у меня есть микросервис, который проделывает определенную работу, парсит от 1 до N документов/сайтов (далее просто объекты) одновременно. Парсинг одного занимает от минуты, до M минут.

Допустим стоит задача распределить нагрузку, сделать работу микросервиса более эффективной. Мы не вдаемся в такие подробности как - что внутри, как работает, какой инструмент для парсинга, по какому признаку - данная задача абстрактна.

Так как мы используем микросервисную архитектуру, будет логично иметь не 1 инстанс, а несколько. Пускай у нас будет от 1 до K инстансов микросервиса.

Но как распаралелить? По идее можно написать еще один микросервис - микросервис поставщик. Он будет брать информацию с текущих инстансов наших парсеров, узнавать сколько в данный момент работает, какую работу проделывает и выбирать тот инстанс, где есть свободные слоты.

Под слотамы я подразумеваю - сколько объектов может одновременно парсить один инстанс, то есть то самое N.

В свою очередь микросервис поставщик будет иметь очередь из объектов для парсинга и с определенным тайм-аутом опрашивать инстансы на предмет свободных слотов, при освободившихся слотах - предоставлять объекты.

Вопрос - на сколько правильно предложенное решение ложится на микросервисную архитектуру, ну и даже в данном абстрактном примере могут ли быть скользкие места ?

Оговорюсь - дальше распарсенные данные пускай будут класться в базу, они не будут идти в другой микросервис, они никак не синхранизируются между собой, возможно есть валидация только в микросервисе поставщике (проверка на уникальность объекта).

3
  • Ну... Вы, фактически, описали работу очереди и демона...
    – Lenald
    22 авг 2018 в 5:48
  • @Akina я думаю следует данные коментарии объединить в ответ, наверное еще появятся интересные мысли 22 авг 2018 в 6:34
  • Выполнено. Как просили, с дополнениями.
    – Akina
    22 авг 2018 в 6:57

1 ответ 1

2

У Вас и обработчик может запрашивать себе работу у поставщика, и поставщик - "впаривать" работу обработчику. Не является ли такая схема избыточной?

С учётом того, что поставщик формально не оповещён о намерениях обработчика (может, он желает доделать то, что ему уже поручено, и завершиться), полагаю, следует оставить только инициативный запрос от обработчика. При этом поставщику оставить право рассылать обработчикам сигнал "у меня есть для тебя работа" - это позволит обработчику, завершив текущую работу и не получив новой, "уснуть" до сигнала от поставщика и не дёргать его.

Кроме того, обработчик должен по завершении обработки сообщать поставщику, что задание выполнено. А тот - не удалять задание до получения этого сигнала (либо до истечения времени тайм-аута, после которого считается, что обработка "провалилась", и это задание нужно передать другому исполнителю). Само собой, при этом ещё появляется сигнал "брось текущее задание, этот тормоз его всё-таки завершил"...

Предполагается, что поставщик обладает средствами, позволяющими ему получить текущий список имеющихся обработчиков. Также предполагается, что поставщик может обратиться к обработчику и запросить его статус (и получить в ответ нечто вроде "работаю", "валяю дурака", "отдыхаю, не беспокоить"). И даже при необходимости попробовать запустить ещё один процесс обработчика в разрешённых ему пределах или, наоборот, выгрузить избыточные обработчики, если заданий нет, оставив пару-тройку "дежурных".

3
  • В общем работа поставщика - это своеобразный шедулер. Он предоставляет задание, держит его статус, и обеспечивает хоть какую то гарантию что задание будет выполнено - колбэк от обработчика, о том что задача выполнена, или по таймауту отдать другому. В свою очередь, обработчики обязаны оповещать поставщика не только о статусе работы, но и об своем текущем статусе. То есть тоже некоторая гарантия того что обработчики не будут простаивать зря. 22 авг 2018 в 7:02
  • @ParanoidPanda В общем работа поставщика - это своеобразный шедулер Ну фактически - да. То есть он - диспетчер и, возможно, интерфейс отображения текущего статуса (показывает, сколько обработчиков, сколько заданий в очереди, сколько уже обработано и пр.).
    – Akina
    22 авг 2018 в 7:08
  • обработчики обязаны оповещать поставщика не только о статусе работы, но и об своем текущем статусе Ну... а, собственно, зачем? если обработчик вернул сообщение о завершении или сделал запрос на задание и не получил его по причине отсутствия - значит, он простаивает. Иначе - или работает, или "завис". Первое - неинтересно, а второе... но если он висит, так он про себя ничего и не сообщит, ибо висит. В общем, как-то не вижу смысла. Ведь диспетчер, буде ему интересно, всегда может его "пнуть" на предмет статуса.
    – Akina
    22 авг 2018 в 7:09

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.