10

В приложении создается 100 тыс. записей. Их надо загрузить в базу данных в SQL Server. Как это можно сделать быстро?

2
  • 3
    Я бы исправил исходный вопрос таким образом, чтобы он гуглился по сочетаниюю "как загрузить много записей".
    – andreycha
    8 фев 2016 в 18:01
  • 100к это небольшой обьем, тем не менее мои рекомендации ниже. 9 июл 2018 в 16:42

3 ответа 3

11

Например, в SQL Server создана таблица data

create table [data] (id int identity primary key, val int)

Для быстрой загрузки 100 тыс. строк из приложения можно использовать SqlBulkCopy.
Таблица загружается менее чем за 5 сек.

using System.Data.SqlClient;
using System.Data;

void Upload() {
    var sw = System.Diagnostics.Stopwatch.StartNew();
    var co = new SqlConnection(
                 @"Data Source = (localdb)\MSSQLLocalDB; Initial Catalog = Test;");
    var da = new SqlDataAdapter("select * from data", co);
    var dt = new DataTable();
    da.FillSchema(dt, SchemaType.Source);
    var c = dt.Columns["val"];
    for (var i = 0; i < 100000; i++) {
        var r = dt.NewRow();
        r[c] = i;
        dt.Rows.Add(r);
    }
    dt.AcceptChanges();
    var bc = new SqlBulkCopy(co) { DestinationTableName = "data" };
    try {
        co.Open();
        bc.WriteToServer(dt);
        sw.Stop(); 
        MessageBox.Show("upload completed " + sw.ElapsedMilliseconds);
    }
    catch (Exception exc) { MessageBox.Show(exc.ToString()); }
    finally {
        co.Dispose();
        bc.Close();
    }
}
0
3

Если база данных находится в SQL Server Compact (бесплатная встраиваемая БД; до 4 ГБ), то можно использовать метод ExecuteResultSet.

Ниже пример, который создает базу данных Test.sdf и таблицу data.
100 тыс. строк загружаются в таблицу data примерно за 2 сек.

// #r "System.Data.SqlServerCe.dll"
using System.Data;
using System.Data.SqlServerCe;

void UploadSdf() {
    var sdf = @"C:\Temp\Test.sdf";
    var co = new SqlCeConnection(@"Data Source=" + sdf);
    if (!System.IO.File.Exists(sdf)) {
        var ce = new SqlCeEngine(co.ConnectionString);
        ce.CreateDatabase();
        co.Open();
        var cmd = co.CreateCommand();
        cmd.CommandText = "create table data (id int identity primary key, val int)";
        cmd.ExecuteNonQuery();
    } else co.Open();
    var sw = System.Diagnostics.Stopwatch.StartNew();
    try {
        var cmd = co.CreateCommand();
        cmd.CommandText = "data";    // имя таблицы
        cmd.CommandType = CommandType.TableDirect;
        var rso = ResultSetOptions.Updatable | ResultSetOptions.Scrollable;
        using (var ers = cmd.ExecuteResultSet(rso)) {
            var vi = ers.GetOrdinal("val");
            for (int i = 0; i < 100000; i++) {
                var rc = ers.CreateRecord();
                rc.SetValue(vi, i);
                ers.Insert(rc, DbInsertOptions.PositionOnInsertedRow);
            }
        }
        sw.Stop();
        MessageBox.Show("upload completed " + sw.ElapsedMilliseconds);
    }
    catch (Exception exc) { MessageBox.Show(exc.ToString()); }
    finally { co.Dispose(); }
}
1

Позволю себе дополнить ответы коллег т.к. никто из них не говорит о том что можно сделать на стороне SQL Server, мои рекомендации:

  • на время загрузки данных можно перевести БД в режим восстановления Simple

    USE master;
    ALTER DATABASE [YouDatabase] SET RECOVERY SIMPLE;

  • включить флаг 610 (управляет вставками с минимальным протоколированием).

    DBCC TRACEON (610,-1);

Подробнее: Флаги трассировки, Минимальное протоколирование операций.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.