Необходимо загрузить большой csv файл в БД (1,5 Гб). Пробовал делать построчную запись с помощью INSERT - это очень долго. 100 000 строк загружается примерно 2 минуты. В файле 120 000 000 строк. Прочитал, что можно использовать SQLBulkCopy и это будет в разы быстрее. Но вопрос в том, можно ли сделать загрузку CSV с разбивкой по столбцам? Например у меня в CSV Series и Number столбцы с разделителем ",". Таблица тоже с двумя аналогичными столбцами. Есть какие-нибудь еще более быстрые способы загрузки или как сделать мапинг полей
string line = "";
string con_str = "server;Database=base;Trusted_Connection=True;";
using (SqlConnection connection = new SqlConnection(con_str))
{
connection.Open();
using (StreamReader file = new StreamReader(new BufferedStream(File.OpenRead(@"D:\bzip2\WriteLines.csv"), 10 * 1024 * 1024)))
{
//string table = "ElmaBadPassport";
while ((line = file.ReadLine()) != null)
{
if (line.Length == 11)
{ string[] values = line.Split(',');
SqlCommand cmd = new SqlCommand("Insert INTO ElmaBadPassport(Series,Number) VALUES (@series, @number)",connection);
cmd.Parameters.AddWithValue("@series",values[0].ToString());
cmd.Parameters.AddWithValue("@Number", values[1].ToString());
cmd.ExecuteNonQuery();
//Console.WriteLine(cmd.ExecuteNonQuery());
}
}
}
connection.Close();
}