2

Данный вопрос является логическим продолжением вот этого: Повышение надежности и производительности работы R Соединяем R studio c Oracle c использованием библиотеки RJDBC. Далее получаем из БД Oracle 12 млн.строк для которых требуется построение прогноза и примерно 150 млн. строк. истории. Строим несколько регрессионных моделей и получаем необходимые результаты прогноза. Следующая задача - полученные значения прогноза записать в соответствующую таблицу Oracle. В настоящее время используем функцию DBWriteTable, т.е. на период сессии в Oracle создаем временную таблицу с результатами прогнозирования, далее по этой таблице апдейтим целевую таблицу с прогнозами, а по завершении сессии временная таблица удаляется. Однако временная таблица из ~ 300 тыс. строк создается крайне медленно - около 20 минут. Создание этой таблицы занимает больше времени, чем все другие операции вместе взятые (загрузка данных из бд, расчет регрессий, выбор лучшей модели). При этом в целевом решении таблица может вырасти до примерно 10 млн. строк. Соответственно вопрос: есть ли возможность повысить скорость создания таблицы? Например, сгенерировать запрос на создание таблицы через конкатенацию отдельных строк и отправить его через DBSendUpdate (но такой запрос будет состоять из 300 тыс. - 10 млн. строк). Возможно есть способы соединения между собой датафрейма в R и таблицы в Oracle через синтаксис DBSendUpdate?

SessionInfo: R version 3.3.1 (2016-06-21) Platform: x86_64-redhat-linux-gnu (64-bit) Running under: CentOS Linux 7 (Core)

Спасибо.

1
  • 3
    Можно как минимум посмотреть в сторону ROrcale , он работает быстрее чем RJDBC ( blogs.oracle.com/R/entry/r_to_oracle_database_connectivity). Так же никто не запрещает сделать dbSendQuery+ update sql в цикле( или параллельно) -- не уверен что будет выигрыш в производительности
    – Batanichek
    31 окт 2016 в 9:50

1 ответ 1

3

Создание таблицы через команду dbWriteTable из библиотеки ROracle производится примерно на 2 порядка быстрее в сравнении с библиотекой RJDBC. Для сравнения: после установки библиотеки ROracle таблица из 1.5 млн строк создалась примерно за 1 минуту, ранее через библиотеку RJDBC таблица из 300 тыс. строк создалась более получаса.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.