Добрый всем вечер!
Проблема в следующем:
п.1 пользуюсь пакетом RODBC. Использование функции sqlSave для целей вставки таблицы в базу было неуспешным, поскольку "table not found in channel" (при существующем подключении, правах и созданной таблице (т.е. пустую таблицу эта функция в базе создала (проверяла), но потом не нашла в channel и не залила туда ничего).
п.2 поэтому я прибегла к циклам: создаю в базе пустую таблицу сама и заливаю в неё построчно с помощью insert value (код ниже) всю таблицу. Всё бы ничего, если бы не скорость. Этот способ у меня работает со скоростью 150 строк в минуту. Мне нужно залить 3 млн. строк.
В связи с этим два вопроса:
- Как исправить ошибку tbale not found in channel в п.1?
- Есть какие-то способы увеличить скорость до нормальной в п.2.? Почему так медленно и как это исправить?
Может, есть альтернатива этим двум способам? Проверенная и работающая.
conn <- odbcDriverConnect(connection ="Driver={SQL Server};Server=servername.com; catalog=Analysis;Uid=login;Pwd=parole")
sqlQuery(conn, paste ("use Analysis; ", "if object_id('Analysis.dbo.ChM_credit_cards') is not null ", "drop table dbo.ChM_credit_cards"))
sqlQuery(conn, paste ("use Analysis; ",
"create table Analysis.dbo.ChM_credit_cards (",
"id int null, ",
"external_id nvarchar(100) null, ",
"card_name nvarchar(50) null, ",
"user_id bigint null, ",
"expiry_status nvarchar(20) null, ",
"is_deleted smallint null, ",
"expiry_date date null, ",
"card_number nvarchar(50) null, ",
"is_business smallint null, ",
"created_at datetime null, ",
"updated_at datetime null, ",
"saved_email nvarchar(100) null, ",
"holder_name nvarchar(100) null, ",
"activated smallint null, ",
"identifier_id bigint null)"))
nr <- nrow(crcard)
for (i in 1:nr)
{
id_crc <- crcard$id[i]
external_id_crc <- crcard$external_id[i]
card_name_crc <- crcard$name[i]
user_id_crc <- crcard$user_id[i]
expiry_status_crc <- crcard$expiry_status[i]
is_deleted_crc <- crcard$is_deleted[i]
expiry_date_crc <- as.character(crcard$expiry_date[i])
card_number_crc <- crcard$number[i]
is_business_crc <- crcard$is_business[i]
created_at_crc <- as.character(crcard$created_at[i])
updated_at_crc <- as.character(crcard$updated_at[i])
email_crc <- crcard$saved_email[i]
holdername_crc <- crcard$holder_name[i]
activated_crc <- crcard$activated[i]
identifier_id_crc <- ifelse(is.na(crcard$identifier_id[i])==TRUE, 0, crcard$identifier_id[i])
sqlQuery(conn, paste ("use Analysis; ",
"insert into Analysis.dbo.ChM_credit_cards ",
"(id , external_id, card_name, ",
"user_id, expiry_status, is_deleted, ",
"expiry_date, card_number, is_business, ",
"created_at, updated_at, saved_email, ",
"holder_name, activated, identifier_id)",
"values (",
id_crc,", '",
external_id_crc,"', '",
card_name_crc, "', ",
user_id_crc, ", '",
expiry_status_crc, "', ",
is_deleted_crc, ", '",
expiry_date_crc, "', '",
card_number_crc, "', ",
is_business_crc, ", '",
created_at_crc,"', '",
updated_at_crc,"', '",
email_crc, "', '",
holdername_crc, "', ",
activated_crc, ", ",
identifier_id_crc, ")"))
}
insert
несколькими значениями вставляемых строкinsert into tableName (id, field1, field2) values (1, 'x1', 'y1'), (2, 'x2', 'y2'), ....
ограничивая объем формируемого запроса разумными пределами.delete
иtruncate
, последнее делается быстро и без записи логов. Проверок ограничений целостности вроде нет у вас.