1

Добрый всем вечер!

Проблема в следующем:

п.1 пользуюсь пакетом RODBC. Использование функции sqlSave для целей вставки таблицы в базу было неуспешным, поскольку "table not found in channel" (при существующем подключении, правах и созданной таблице (т.е. пустую таблицу эта функция в базе создала (проверяла), но потом не нашла в channel и не залила туда ничего).

п.2 поэтому я прибегла к циклам: создаю в базе пустую таблицу сама и заливаю в неё построчно с помощью insert value (код ниже) всю таблицу. Всё бы ничего, если бы не скорость. Этот способ у меня работает со скоростью 150 строк в минуту. Мне нужно залить 3 млн. строк.

В связи с этим два вопроса:

  1. Как исправить ошибку tbale not found in channel в п.1?
  2. Есть какие-то способы увеличить скорость до нормальной в п.2.? Почему так медленно и как это исправить?
  3. Может, есть альтернатива этим двум способам? Проверенная и работающая.

    conn <- odbcDriverConnect(connection ="Driver={SQL Server};Server=servername.com;
                      catalog=Analysis;Uid=login;Pwd=parole")
    

sqlQuery(conn, paste ("use Analysis; ", "if object_id('Analysis.dbo.ChM_credit_cards') is not null ", "drop table dbo.ChM_credit_cards"))

sqlQuery(conn, paste ("use Analysis; ",
                  "create table Analysis.dbo.ChM_credit_cards (",  
                  "id int null, ",
                  "external_id nvarchar(100) null, ",
                  "card_name nvarchar(50) null, ",
                  "user_id bigint null, ",
                  "expiry_status nvarchar(20) null, ",
                  "is_deleted smallint null, ",
                  "expiry_date date null, ",
                  "card_number nvarchar(50) null, ",
                  "is_business smallint null, ",
                  "created_at datetime null, ",
                  "updated_at datetime null, ",
                  "saved_email nvarchar(100) null, ",
                  "holder_name nvarchar(100) null, ",
                  "activated smallint null, ",
                  "identifier_id bigint null)"))

nr <- nrow(crcard)

for (i in 1:nr)
{
  id_crc            <- crcard$id[i]
  external_id_crc   <- crcard$external_id[i]
  card_name_crc     <- crcard$name[i]
  user_id_crc       <- crcard$user_id[i]
  expiry_status_crc <- crcard$expiry_status[i]
  is_deleted_crc    <- crcard$is_deleted[i]
  expiry_date_crc   <- as.character(crcard$expiry_date[i])
  card_number_crc   <- crcard$number[i]
  is_business_crc   <- crcard$is_business[i]
  created_at_crc    <- as.character(crcard$created_at[i])
  updated_at_crc    <- as.character(crcard$updated_at[i])
  email_crc         <- crcard$saved_email[i]
  holdername_crc    <- crcard$holder_name[i]
  activated_crc     <- crcard$activated[i]
  identifier_id_crc <- ifelse(is.na(crcard$identifier_id[i])==TRUE, 0, crcard$identifier_id[i])


  sqlQuery(conn, paste ("use Analysis; ",
                    "insert into Analysis.dbo.ChM_credit_cards ", 
                    "(id , external_id, card_name, ", 
                    "user_id, expiry_status, is_deleted, ",
                    "expiry_date, card_number, is_business, ", 
                    "created_at, updated_at, saved_email, ",
                    "holder_name, activated, identifier_id)", 
                    "values (",
                    id_crc,", '",
                    external_id_crc,"', '", 
                    card_name_crc, "', ", 
                    user_id_crc, ", '", 
                    expiry_status_crc, "', ", 
                    is_deleted_crc, ", '",
                    expiry_date_crc, "', '", 
                    card_number_crc, "', ", 
                    is_business_crc, ", '", 
                    created_at_crc,"', '",
                    updated_at_crc,"', '",
                    email_crc, "', '",
                    holdername_crc, "', ",
                    activated_crc, ", ",
                    identifier_id_crc, ")"))

}

3
  • чтобы со скоростью черепахи по одной строке не вставлять, ваш результирующий запрос в sql должен иметь одну инструкцию insert несколькими значениями вставляемых строк insert into tableName (id, field1, field2) values (1, 'x1', 'y1'), (2, 'x2', 'y2'), .... ограничивая объем формируемого запроса разумными пределами.
    – teran
    25 янв 2017 в 13:33
  • Я пробовала конкатинировать несколько values(...) в один insert. Результат не впечатлил: max за один insert у меня получилось вставить 1000 строк. (Видимо, ограничения по длине запроса или объёму памяти или что-то ещё). Т.о. 3 млн строк я вставляла примерно часа 4. 27 янв 2017 в 2:59
  • да, в ограничение по длине я тоже один раз упирался. А откуда вы вставляете то 3млн строк, из какого источника? хз, мой опыт в ставке таких объемов данных не велик, мб поможет отключение лога БД, как например удаление данных большой таблицы через delete и truncate, последнее делается быстро и без записи логов. Проверок ограничений целостности вроде нет у вас.
    – teran
    27 янв 2017 в 8:47

1 ответ 1

1

По второму вопросу.

Функция для формирования строки запроса:

sqlInsert <- function(.data, dbname, table) {
    stopifnot(is.data.frame(.data))
    stopifnot(is.character(dbname) && length(dbname) == 1L)
    stopifnot(is.character(table) && length(table) == 1L)
    collapse <- function(x) paste0("'", x, "'", collapse = ",")
    cols <- collapse(names(.data))
    vals <- apply(.data, 1, function(row) paste0("(", collapse(row), ")"))
    vals <- paste(vals, collapse = ",")
    vals <- gsub("'NA'", "NULL", vals, fixed = TRUE)
    sql <- sprintf("USE %s; INSERT INFO %s.%s(%s) VALUES(%s);",
                   dbname, dbname, table, cols, vals)
    return(sql)
}
sqlInsert(iris[1:5, ], "analytics", "iris")
#> [1] "USE analytics; INSERT INFO analytics.iris('Sepal.Length','Sepal.Width','Petal.Length','Petal.Width','Species') VALUES(('5.1','3.5','1.4','0.2','setosa'),('4.9','3.0','1.4','0.2','setosa'),('4.7','3.2','1.3','0.2','setosa'),('4.6','3.1','1.5','0.2','setosa'),('5.0','3.6','1.4','0.2','setosa'));"

Функция для разбиения исходных данных на части и отправки на сервер:

sqlInsert <- function(con, .data, dbname, table, pagesize = 10000) {
    stopifnot(is.data.frame(.data))
    stopifnot(is.character(dbname) && length(dbname) == 1L)
    stopifnot(is.character(table) && length(table) == 1L)
    collapse <- function(x) paste0("'", x, "'", collapse = ",")
    n <- .row_names_info(.data, 2)
    pages <- split(seq_len(n), seq_len(n) %/% pagesize)
    cols <- collapse(names(.data))
    for (idx in pages) {
        vals <- apply(.data[idx, ], 1, function(row) paste0("(", collapse(row), ")"))
        vals <- paste(vals, collapse = ",")
        vals <- gsub("'NA'", "NULL", vals, fixed = TRUE)
        sql <- sprintf("USE %s; INSERT INFO %s.%s(%s) VALUES(%s);",
                       dbname, dbname, table, cols, vals)
        sqlQuery(con, sql)
    }
    return(invisible(NULL))
}

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.