0

Я сделал программу, которая считывает построчно csv файл и добавляет строку в бд. Это очень медленно, как мне можно модернизировать программу, чтобы в одном запросе вставлялось несколько строк?

while (!reader.EndOfStream)
{
    var line = reader.ReadLine();
    if (lineNumber != 0)
    {
        var values = line.Split(';');
        var FIO = values[2];
        string FAM = "null";
        string NAM = "null";
        string MNAME = "null";
 
        if (FIO != "") { 
            string[] words = FIO.Split(new char[] { ' ' });
            FAM = words[0];
            NAM = words[1];
            MNAME = words[2];
        }
        var PRIMECH = "FED";
        DateTime dt = DateTime.Now;
        string curDate = dt.ToShortDateString();
        string oneSnils = values[0].Substring(0, 3);
        string twoSnils = values[0].Substring(3, 3);
        string threeSnils = values[0].Substring(6, 3);
        string gourSnils = values[0].Substring(6, 2);
        string resSnils = string.Format("{0}-{1}-{2} {3}", oneSnils, twoSnils, threeSnils, gourSnils);
 
        string oneSnils1 = values[1].Substring(0, 3);
        string twoSnils1 = values[1].Substring(3, 3);
        string threeSnils1 = values[1].Substring(6, 3);
        string gourSnils1 = values[1].Substring(6, 2);
        string resSnils1 = string.Format("{0}-{1}-{2} {3}", oneSnils1, twoSnils1, threeSnils1, gourSnils1);
        string pasport = values[7];
        if (pasport != "null")
        {
            pasport = $"{values[7]} {values[8]}";
        }
        else
        {
            pasport = $"{values[8]}";
        }
 
        string strKod = values[5];
        strKod = strKod.Trim(new char[] { '0' });

    command.CommandText = "INSERT INTO OB_FILE.DEPRIVED  (SNILS, SNILSCHILD, FAM, NAM, MNAME, FIOCHILD, VIDSVED, DTZAKON, PASSPORTDAN, SUD, DTRESH, PRIMECH, DATE_INSERT, FIOROD) VALUES('" + resSnils + "','" + resSnils1 + "', '" + FAM.ToUpper() + "', '" + NAM.ToUpper() + "', '" + MNAME.ToUpper() + "', '" + values[3] + "',  '" + strKod + "', '" + values[6] + "', '" + pasport + "', '" + values[9] + "', '" + values[10] + "', '" + PRIMECH + "', '" + curDate + "', '" + values[2].ToUpper() + "')";

    command.ExecuteNonQuery();
 


        if (lineNumber % 500 == 0){
            Console.WriteLine($"В таблицу OB_FILE добавлно {lineNumber} из {count}"); 
        }
    }
 lineNumber++;
 
   
}

Используется db2.

CREATE TABLE OB_FILE.DEPRIVED  ( 
    ID          BIGINT GENERATED ALWAYS AS IDENTITY (START WITH 0, INCREMENT BY 1, NO CACHE) NOT NULL,
    FAM         VARCHAR(150),
    NAM         VARCHAR(150),
    MNAME       VARCHAR(150),
    SUD         VARCHAR(350),
    DTRESH      VARCHAR(150),
    DTZAKON     VARCHAR(150),
    FIOCHILD    VARCHAR(350),
    SNILSCHILD  VARCHAR(150),
    PASSPORTDAN VARCHAR(1024),
    VIDSVED     VARCHAR(350),
    PRIMECH     VARCHAR(1024),
    DATE_INSERT DATE,
    FIOROD      VARCHAR(250),
    CONSTRAINT PK PRIMARY KEY(ID)
)
GO
  • FAM, NAM,MNAME - из ФИО взрослого
  • SUD - Орган выдавший документ
  • DTRESH - Дата документа
  • DTZAKON - Дата вступления в силу
  • FIOCHILD -ФИО ребенка
  • SNILSCHILD - Снилс ребенка
  • PASPORTDAN - Номер документа или серия и номер документа
  • VIDSVED - Код типа
  • PRIMECH = FED
  • DATA_INSERT = тек.дата
  • FIOROD - ФИО ВЗРОСЛОГО

В файле примерно 600к записей.

СНИЛС взрослого;СНИЛС ребёнка;ФИО взрослого;ФИО ребёнка;Реестр;Код типа события;Дата вступления в силу;Серия документа;Номер документа;Орган выдавший документ;Дата документа
09481061880;15859892785;Алексеев Адриан Андреевич;Клун Ксения Маринович;РЛИРП;001;2020/05/21;null;"2-4646265/2222";"суд области";[2018, 3, 13]
05551056680;34501676175;Алексеев Михаил Андреевич;Коричин Дарья Максимрвна;РЛИРП;001;2020/05/21;null;"222-4222355/5161";" суд ";[2016, 8, 10]
8
  • Большинство СУБД (кстати, Вы свою как-то забыли указать) позволяют в INSERT .. VALUES добавлять несколько записей - блоки данных обрамляются скобками и разделяются запятыми. А ещё во многих СУБД есть возможность напрямую загружать данные в таблицу прямо из CSV - программа просто рулит этим процессом, а то и вовсе выполняет один запрос, который всё парсит и раскладывает по полям таблицы.
    – Akina
    12 апр 2021 в 9:43
  • Я знаю про это!) Я имею ввиду, как мне правильно распарить данные, чтобы в запрос запихнуть несколько строк.
    – Sergey
    12 апр 2021 в 9:48
  • Старайтесь форматировать код в своих вопросах так, чтобы его было удобно читать. Спасибо.
    – aepot
    12 апр 2021 в 10:16
  • 2
    Укажите используемую СУБД. Это критически важно! Например, в sqlite явное использование транзакции ускорит вставку во много раз. 12 апр 2021 в 10:52
  • 2
    Также во многих СУБД есть специальные операции по массовой вставке данных. Например, такие: BULK INSERT, Bulk copy 12 апр 2021 в 10:59

2 ответа 2

1

Как уже отметили в комментариях, у Вас, скорее всего, можно использовать несколько наборов VALUES в одном INSERT.

Но есть еще несколько моментов.

  1. Нет смысла открывать Connection, и сразу закрывать его. Несмотря на то, что ADO.NET использует пул SQL - коннектов, на открытие и закрытие коннекшна тратится время. Нужно открыть коннекшн в самом начале и закрыть его, когда вся операция по вставке данных будет завершена.

  2. Чтобы добавлять данные массово, нужно сделать парсинг строки отдельной процедурой. Тогда её можно вызывать несколько раз, распарсить несколько строк, подготовить на их основе один "длинный" INSERT и сделать его.

  3. Тот способ построения INSERT'а, который у Вас используется, активно использует конкатенацию строк, взятых из файла. Этот способ чреват SQL INJECTION, потому что данные не фильтруются. К тому же, при этом активно создаются и уничтожаются объекты типа string в памяти. Это не большие накладные расходы, но они есть. Гораздо лучше работать так:

     using(SqlConnection cn = new SqlConection( connectionString )){
         cn.Open();
         SqlCommand cmd = new SqlCommand(sql, cn);
         cmd.Parameters.AddWithValue("@param1", value1);
         cmd.Parameters.AddWithValue("@param2", value2);
         cmd.Parameters.AddWithValue("@param3", value3);
         cmd.ExecuteNonQuery();
     }
    
  4. Можно еще проверить, не тратится ли время при вставке на перестроение индексов. Если индексов много - лучше их "грохнуть" перед массовой вставкой, а потом создать заново по окончанию операции. Тогда индексы будут построены всего один раз, а не будут пререстраиваться после каждого INSERT'а.

  5. я экспериментировал, - с не очень "широкими" таблицами оптимальная скорость вставки достигается, когда за один insert вставляется 100-500 строк. Дальше производительность начинает опять падать. Можно предположить, что длинна одной sql - команды должна быть в пределах 8-16 кб.

Ну и, этот способ нужно "совместить" с тем, что наборов значений будет несколько.

Набросал пример.

Пара замечаний.

  1. Конечно, для работы сос троками нужно использовать StringBuilder

  2. Хорошо, что у Вас в коде есть пример того, как извлекать данные - я почти целиком переписал, не вникая в суть.

  3. Создание таблицы в SQL я делал командой

     CREATE TABLE [dbo].[OB_FILE_DEPRIVED](
         [ID] [bigint] IDENTITY(1,1) NOT NULL,
         [SNILS] [varchar](50) NULL, 
         [SNILSCHILD] [varchar](50) NULL, 
         [FAM] [varchar](150) NULL,
         [NAM] [varchar](150) NULL,
         [MNAME] [varchar](150) NULL,
         [SUD] [varchar](350) NULL,
         [DTRESH] [varchar](150) NULL,
         [DTZAKON] [varchar](150) NULL,
         [FIOCHILD] [varchar](350) NULL,
         [PASSPORTDAN] [varchar](1024) NULL,
         [VIDSVED] [varchar](350) NULL,
         [PRIMECH] [varchar](1024) NULL,
         [DATE_INSERT] [date] NULL,
         [FIOROD] [varchar](250) NULL,
      CONSTRAINT [PK] PRIMARY KEY CLUSTERED 
     (
         [ID] ASC
     )WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON, OPTIMIZE_FOR_SEQUENTIAL_KEY = OFF) ON [PRIMARY]
     ) ON [PRIMARY]
    

Как видите, там одног ополя у Вас не хватало, я его добавил

Вот программа, её производительность (на очень бытовом железе) - 1500-2000 строк в секунду.

( Мои эксперименты показывали, что сделать больше 10 000 -20 000 строк в секунду на реляционной базе у меня не полчилось. )

    using System;
    using System.Collections.Generic;
    using System.Data;
    using System.Data.SqlClient;
    using System.IO;
    using System.Text;

    namespace FastInsert {
        class Program {
            static void Main(string[] args) {
                DateTime dt0 = DateTime.Now;
                Inserter.MakeAll();
                TimeSpan ts = DateTime.Now - dt0;
                Console.WriteLine($"Seconds: {ts.TotalSeconds}");
                Console.ReadLine();
            }
        }

        public static class Inserter {

            static Dictionary<int, string> GeneratedCommands = new Dictionary<int, string>();
            static string GenerateSqlCmd(int N) {
                if (!GeneratedCommands.ContainsKey(N)) {
                    StringBuilder sb = new StringBuilder();
                    sb.Append("INSERT INTO OB_FILE_DEPRIVED(SNILS, SNILSCHILD, FAM, NAM, MNAME, FIOCHILD, VIDSVED, DTZAKON, PASSPORTDAN, SUD, DTRESH, PRIMECH, DATE_INSERT, FIOROD) VALUES ");
                    for (int i = 0; i < N; ++i) {
                        sb.Append($" ( @SNILS{i}, @SNILSCHILD{i}, @FAM{i}, @NAM{i}, @MNAME{i}, @FIOCHILD{i}, @VIDSVED{i}, @DTZAKON{i}, @PASSPORTDAN{i}, @SUD{i}, @DTRESH{i}, @PRIMECH{i}, @DATE_INSERT{i}, @FIOROD{i} ) ");
                        if (i != N - 1)
                            sb.Append(", ");
                    }

                    GeneratedCommands.Add(N, sb.ToString());
                }

                return GeneratedCommands[N];
            }

            // этот код почти полностью взят из исходного проекта
            static void AppendParameters(string line, int n, ref SqlCommand cmd) {
                var values = line.Split(';');
                var FIO = values[2];
                string FAM = "null";
                string NAM = "null";
                string MNAME = "null";

                if (FIO != "") {
                    string[] words = FIO.Split(new char[] { ' ' });
                    FAM = words[0];
                    NAM = words[1];
                    MNAME = words[2];
                }
                var PRIMECH = "FED";
                DateTime dt = DateTime.Now;
                string curDate = dt.ToShortDateString();
                string oneSnils = values[0].Substring(0, 3);
                string twoSnils = values[0].Substring(3, 3);
                string threeSnils = values[0].Substring(6, 3);
                string gourSnils = values[0].Substring(6, 2);
                string resSnils = string.Format("{0}-{1}-{2} {3}", oneSnils, twoSnils, threeSnils, gourSnils);

                string oneSnils1 = values[1].Substring(0, 3);
                string twoSnils1 = values[1].Substring(3, 3);
                string threeSnils1 = values[1].Substring(6, 3);
                string gourSnils1 = values[1].Substring(6, 2);
                string resSnils1 = string.Format("{0}-{1}-{2} {3}", oneSnils1, twoSnils1, threeSnils1, gourSnils1);
                string pasport = values[7];
                if (pasport != "null") {
                    pasport = $"{values[7]} {values[8]}";
                }
                else {
                    pasport = $"{values[8]}";
                }

                string strKod = values[5];
                strKod = strKod.Trim(new char[] { '0' });
                // Здесь вы выяснили значения всех переменных. Осталось их впендюрить в команду
                //cmd.Parameters.AddWithValue($"SNILS{n}", resSnils);
                cmd.Parameters.Add($"@SNILS{n}", SqlDbType.VarChar).Value = resSnils;
                cmd.Parameters.Add($"@SNILSCHILD{n}", SqlDbType.VarChar).Value = resSnils1;
                cmd.Parameters.Add($"@FAM{n}", SqlDbType.VarChar).Value = FAM.ToUpper();
                cmd.Parameters.Add($"@NAM{n}", SqlDbType.VarChar).Value = NAM.ToUpper();
                cmd.Parameters.Add($"@MNAME{n}", SqlDbType.VarChar).Value = MNAME.ToUpper();
                cmd.Parameters.Add($"@FIOCHILD{n}", SqlDbType.VarChar).Value = values[3];
                cmd.Parameters.Add($"@VIDSVED{n}", SqlDbType.VarChar).Value = strKod;
                cmd.Parameters.Add($"@DTZAKON{n}", SqlDbType.VarChar).Value = values[6];
                cmd.Parameters.Add($"@PASSPORTDAN{n}", SqlDbType.VarChar).Value = pasport;
                cmd.Parameters.Add($"@SUD{n}", SqlDbType.VarChar).Value = values[9];
                cmd.Parameters.Add($"@DTRESH{n}", SqlDbType.VarChar).Value = values[10];
                cmd.Parameters.Add($"@PRIMECH{n}", SqlDbType.VarChar).Value = PRIMECH;
                cmd.Parameters.Add($"@DATE_INSERT{n}", SqlDbType.DateTime).Value = curDate;
                cmd.Parameters.Add($"@FIOROD{n}", SqlDbType.VarChar).Value = values[2].ToUpper();
            }

            const int STEPS = 10;
            const string SQLCONNECTIONSTRING = "Password=mypassword;Persist Security Info=False;User ID=konst;Initial Catalog=Test2;Data Source=192.168.1.23";

            static List<string> lines;
            public static void MakeAll() {
                
                FileStream fs = File.Open(@"C:\Temp\input.txt", FileMode.OpenOrCreate, FileAccess.Read);
                int globalCnt = 0;
                using (StreamReader file = new StreamReader(fs)) {
                    using (SqlConnection cn = new SqlConnection(SQLCONNECTIONSTRING)) {
                        cn.Open();
                        while (!file.EndOfStream) {
                            lines = new List<string>();

                            int cnt = 0;
                            while (!file.EndOfStream && cnt < STEPS) {
                                lines.Add(file.ReadLine());
                                cnt++;
                            }

                            if (cnt == 0)
                                return;

                            // Теперь мы знаем, на сколько одновременных Insert'ов надо "сделать" команду
                            string sql = GenerateSqlCmd(cnt);
                            SqlCommand cmd = new SqlCommand(sql, cn);
                            for (int i = 0; i < cnt; i++) {
                                AppendParameters(lines[i], i, ref cmd);
                            }

                            globalCnt += cmd.ExecuteNonQuery();
                        }
                    }
                }
                Console.WriteLine($"globalCnt = {globalCnt}");


            }


        }


    }
12
  • Человек жалуется на "медленно", VALUES у него и так есть в запросе. А как вы думаете, почему у него медленно? Я вот невооруженным глазом вижу. Даже если не брать во внимание кучу конкатенаций, основной тормоз не в них.
    – aepot
    12 апр 2021 в 10:10
  • 1
    @aepot - открытие коннекшна?
    – S.H.
    12 апр 2021 в 10:14
  • Использование параметров - это правильно. Только не нужно применять метод AddWithValue. 1, 2, 3 - достаточно ознакомиться с одной статьёй. 12 апр 2021 в 10:57
  • @AlexanderPetrov - правильно ли я понял, что, используя метод AddWithValue, я перекладываю операцию опеределения SQL- типа на .NET, и это дополнительная нагрузка? то есть, надо просто использовать parameters.Add(), явно специфицируя тип?
    – S.H.
    12 апр 2021 в 11:13
  • 1
    Да, нужно явно указывать тип в Add. Иначе может происходить вынужденное приведение типа в самой СУБД. Это может сильно замедлить запросы в случае использования where и join. 12 апр 2021 в 11:19
0
StringBuilder sb=new StringBuilder("INSERT INTO TABLE (a,b,c) VALUES");
while(....

sb.AppendLine("(1,2,3), ");
if (lineNumber % 500 == 0)
{
command.CommandText = sb.ToString();
//сохраняем данные
//чистим StringBuilder
}

Вот чего я добивался...

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.