Есть следующая задача, имеется набор данных в MongoDB
которые туда постоянно пишутся, необходимо регулярно генерировать статистику на основе последних данных, а результат обновлять в MySQL
. Сейчас генерация статистики и обновление данных в MySQL
выполняется php
скриптом, но это занимает много времени, поэтому решил использовать hadoop
для генерации.
Получается следующая схема: последние актуальные данные читаются хадупом с MongoDB
, там они обрабатываются, и после обработки необходимо обновить старые данные в MySQL
, но это сотни миллионов строк в базе.
Как в данном случае лучше всего перенести эти данные в MySQL
? Пока думаю над следующими вариантами, вставлять с reduce
функции данные сразу в MySQL
(но это будет очень медленно), или сохранять результат в файлы в hdfs
и потом читать их отдельным скриптом и вставлять блочно в MySQL
.