0

Имеется DataTable с данными.

Как можно быстро залить большой объем данных в MySql?

На офф сайте нашел совет, что для увеличения скорости загрузки делаем

INSERT INTO ... VALUES (),()

Это единственный способ?

7
  • dev.mysql.com/doc/refman/5.7/en/load-data.html увы, только на английском. А так, в общем-то, конструкция аналогична BULK INSERT в MS SQL
    – rdorn
    Commented 30 сент. 2017 в 20:52
  • @rdorn, я находил это. Я как понял, что бы этим воспользоваться, нужно перегнать DataTable в какой-то файл?
    – iluxa1810
    Commented 30 сент. 2017 в 21:11
  • Да, формируется простой текстовый файл фиксированной структуры (по ссылкам в статье можно найти) и передается на загрузку. Быстрее этого вариантов быть не может. Если в вашем случае не применимо, то остается только то, что вы уже сами нашли
    – rdorn
    Commented 30 сент. 2017 в 21:25
  • stackoverflow.com/a/30628018/5796587 вот это еще гляньте, двухлетней давности, но я сомневаюсь что что-то изменилось, oracle почти забросил mysql
    – rdorn
    Commented 30 сент. 2017 в 21:28
  • @rdorn, написал свой генератор, VALUES (),()... . Достаточно шустро работает. А вы не знаете, а есть ли разница между вставкой чисел в кавычках и без, если целевая колонка имеет числовой тип? Если не ошибаюсь, то тот же MS SQL тратит время на преобразование.
    – iluxa1810
    Commented 30 сент. 2017 в 21:34

1 ответ 1

0

Достаточно шустрая штука получилась. Очень быстро идет вставка, если генерить VALUES (),()...

 public void Append(DataTable dt, string dataBaseName, DbSchema dbSchema)
    {
        PreCheckDestinationDb(dt, dataBaseName, dbSchema);
        var cmd = GetBulkInsertQuery(dt);
        var sb = new StringBuilder();
        int counter = 0;
        int total = 0;
        for (var index = 0; index < dt.Rows.Count; index++)
        {
            DataRow row = dt.Rows[index];
            AppendInsertValues(row, sb);
            counter++;
            if (counter >= _insertBatchSize || index + 1 == dt.Rows.Count)
            {
                _conn.Execute(cmd + sb);
                sb.Clear();
                total += counter;
                log.Debug($"Вставлено: {total}/{dt.Rows.Count}");
                counter = 0;
            }
        }
    }

public void AppendInsertValues(DataRow row, StringBuilder sb)
    {
        if (sb.Length != 0)
        {
            sb.Append(",");
        }
        sb.Append("(");
        for (var index = 0; index < row.Table.Columns.Count; index++)
        {
            DataColumn column = row.Table.Columns[index];
            sb.Append(DBNull.Value.Equals(row[column]) ? "NULL" : $"'{MySqlHelper.EscapeString(row[column].ToString())}'");
            if (index + 1 != row.Table.Columns.Count)
            {
                sb.Append(",");
            }
        }
        sb.Append(")");
    }

  string GetBulkInsertQuery(DataTable dt)
    {
        var fieldList = dt.Columns.Cast<DataColumn>().Select(x => x.ColumnName).ToList();
        var cmd = $"INSERT INTO `{dt.TableName}` (";
        foreach (var field in fieldList)
        {
            cmd += $"`{field}`,";
        }
        cmd = cmd.Remove(cmd.Length - 1) + ") VALUES";
        return cmd;
    }

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.