Задача такова Приходит большой массив данных в формате JSON Их него надо выбрать несколько полей и сохранить их в базу данных. Проблема в том, что таких массивов данных очень много, обработка одного занимает приличное время.
Хотелось бы организовать следующую систему.
http-parser->| Queue |->{Worker_1}->{DB}
| Item1 | {Worker_2}
| Item2 | {Worker_n}
| ItemN |
Небольшой скрипт на Ruby получает ответ от сервера, добавляет его в очередь и продолжает и ждет следующего ответа от сервера. В свою очередь воркеры, если видят информацию в очереди, то они разбирают её и начинают обрабатывать и сохранять в базу данных.
На данный момент сложность в том, что парсер отвечает за все: парсинг, выборку, сохранение в БД, поэтому обработка ответов от сервера сильно затягивается.
Нулевая мысль была банально бросать сохранение в БД в отдельный тред, однако это не очень гибкое решение.
Первая же мысль была банально забрасывать весь json объект прямо в базу, а потом тягать оттуда, но тогда стоит вопрос о том, как блокировать запись, чтобы worker_n не стал обрабатывать одну и ту же запись вместе с другим воркером.
Другими словами интересуют известные методы\ПО, позволяющее сократить время записи в БД. В частности интересуют какие-нибудь продукты Amazon Web Services. Я вскользь прочитал про Amazon Simple Queue, но не уверен, что она покроет мои задачи.