2

Есть следующая задача, имеется набор данных в MongoDB которые туда постоянно пишутся, необходимо регулярно генерировать статистику на основе последних данных, а результат обновлять в MySQL. Сейчас генерация статистики и обновление данных в MySQL выполняется php скриптом, но это занимает много времени, поэтому решил использовать hadoop для генерации.

Получается следующая схема: последние актуальные данные читаются хадупом с MongoDB, там они обрабатываются, и после обработки необходимо обновить старые данные в MySQL, но это сотни миллионов строк в базе.

Как в данном случае лучше всего перенести эти данные в MySQL? Пока думаю над следующими вариантами, вставлять с reduce функции данные сразу в MySQL (но это будет очень медленно), или сохранять результат в файлы в hdfs и потом читать их отдельным скриптом и вставлять блочно в MySQL.

1 ответ 1

1

Скажу из своего опыта работы с Hadoop: если он будет бежать на одной машине, то быстрее не получится. Hadoop имеет смысл использовать с кластерами, т.е. когда можно запустить процесс обработки больших количеств данных сразу на нескольких машинах. Это первое.

Второе, имеет смысл результаты обработки сразу записывать в базу данных, а не записывать в отдельный файл, а потом снова читать этот файл. Это замедлит процесс, если только, разумеется, сам процесс обработки не подразумевает многоступенчатый map-reduce.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.