0

Необходимо загрузить большой csv файл в БД (1,5 Гб). Пробовал делать построчную запись с помощью INSERT - это очень долго. 100 000 строк загружается примерно 2 минуты. В файле 120 000 000 строк. Прочитал, что можно использовать SQLBulkCopy и это будет в разы быстрее. Но вопрос в том, можно ли сделать загрузку CSV с разбивкой по столбцам? Например у меня в CSV Series и Number столбцы с разделителем ",". Таблица тоже с двумя аналогичными столбцами. Есть какие-нибудь еще более быстрые способы загрузки или как сделать мапинг полей

string line = "";
       string con_str = "server;Database=base;Trusted_Connection=True;";
       using (SqlConnection connection = new SqlConnection(con_str))
       {
            connection.Open();
            using (StreamReader file = new StreamReader(new BufferedStream(File.OpenRead(@"D:\bzip2\WriteLines.csv"), 10 * 1024 * 1024)))
            {
                //string table = "ElmaBadPassport";

                while ((line = file.ReadLine()) != null)
                {   
                    if (line.Length == 11)
                    {   string[] values = line.Split(',');
                        SqlCommand cmd = new SqlCommand("Insert INTO ElmaBadPassport(Series,Number) VALUES (@series, @number)",connection);

                        cmd.Parameters.AddWithValue("@series",values[0].ToString());
                        cmd.Parameters.AddWithValue("@Number", values[1].ToString());
                        cmd.ExecuteNonQuery();
                        //Console.WriteLine(cmd.ExecuteNonQuery());
                    }
                }
            }
            connection.Close();
       }
4
  • Если сделать это надо один раз можно воспользоваться мастером импорта /экспорта в SSMS. 21 фев 2019 в 7:36
  • @NickProskuryakov он тормознутый и вставляет по 1 записи. ESF Migration Tool kit рулит и делает это шустро.
    – iluxa1810
    21 фев 2019 в 7:37
  • @iluxa1810 если речь о скорости, то тогда уже через SSIS в несколько потоков грузить, там все также понятно настраивается. Но... автору насколько понимаю надо делать это с помощью C# 21 фев 2019 в 7:41
  • @NickProskuryakov к сожалениию, надо на C# и неоднократно. Написали софтину, которая скачивает исходник, распаковывает, потом создает новый CSV с правильными данными. А далее надо грузить в БД. 21 фев 2019 в 7:57

1 ответ 1

0

Для однократного решения задачи я рекомендую использовать ESF Migration ToolKit, который отлично справляется со своей работой в то время, как стандартное средство импорта /экспорта в SSMS делает вставку по 1 записи. Правда минус в том, что он платный...

Если все таки хочется- это самому реализовать, то есть класс SqlBulkCopyColumnMapping, где можно задать маппинг одного поля на другое. Однако, хоть СУБД и пофигу на регистр колонок, однако, BulkCopy не пофиг и он не найдет соответствие схожих имен, но с разным регистром.

А еще, на сколько я знаю, можно прямо из MS SQL через скрипт сделать BULK INSERT:

BULK INSERT SchoolsTemp
    FROM 'C:\CSVData\Schools.csv'
    WITH
    (
    FIRSTROW = 2,
    FIELDTERMINATOR = ',',  --CSV field delimiter
    ROWTERMINATOR = '\n',   --Use to shift the control to next row
    ERRORFILE = 'C:\CSVDATA\SchoolsErrorRows.csv',
    TABLOCK
    )

Правда, не пробовал.

P.S Ну и не забудь в целевой таблице грохнуть всех индексы и ключи, так это тормозит вставку.

2
  • т.е. SqlBulkCopyColumnMapping съест название колонки, и запишет в нужную при условии что регистры одинаковые? 21 фев 2019 в 7:59
  • @AndreySherman, должен. Ну и на вход должен подаваться DataTable, либо DataReader.
    – iluxa1810
    21 фев 2019 в 8:01

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.