0

Вопрос: Как лучше обрабатывать большие Excel файлы?

Пробовал interop.Excel и через: OLEDB, адаптер reader, DataTable -, но с последним много вопросов, так как нужно много чего фильтровать и сами заголовки таблиц в файлах Excel на русском и имеют какие-то нереально длинные имена, зачастую.

Как лучше приложение организовать, чтобы по человечески обрабатывать всё это добро? Есть еще какие-либо стандартные библиотеки?

P.S. Похоже сами файлы - это выгрузка из нормальных баз данных.

5
  • Насколько больших? 100 1000 100000 1000000 100000000 или 100000000000000?
    – nick_n_a
    19 сен 2016 в 13:39
  • DataTable однозначно, фильтрация на них делается элементарно, по любому количеству столбцов, в принципе даже точные имена столбцов знать не так чтобы обязательно, достаточно порядкового номера. Interop как и сам excel будет жутко тормозить с реально большими объемами.
    – rdorn
    19 сен 2016 в 13:50
  • 1
    big-data - это объемы от терабайта и более. у вас действительно терабайты экселек?
    – user177221
    20 сен 2016 в 8:08
  • 1
    Почитай вот эту линку: ru.stackoverflow.com/questions/560133/… там описано несколько способов работы с ексель файлами и их самые важные основные плюса/минуса. Если коротко - наиболее простой метод - работа с OpenXML через ClosedXML. Но и в этого варианта минуса есть.
    – user221357
    3 окт 2016 в 16:22
  • EPPlus - очень удобная библиотека для работы с Excel, которая основана на Open XML Легка в освоении и спасает от использования интеропа. Имеет так же множество примеров и хорошую документацию.
    – iluxa1810
    3 окт 2016 в 17:02

1 ответ 1

1

Если файлы в формате XLSX, то воспользуйтесь OpenXML.

С другой стороны, с этой задачей можно справиться, используя Jet OLEDB 4.0 в совокупности с DataSet и прочим. Но лучше этого избежать, и вот почему: в отличие от баз данных, колонки в Excel не имеют типов данных. При чтении провайдер пытается определить типы, полагаясь на данные в первых 8 строчках (это по умолчанию, но это значение можно увеличить в Windows Registry), после чего читает остаток таблицы, тихо отбрасывая те значения, которые не вписываются в предполагаемую схему, и заменяя их на null. Если все типы заранее известны, создайте в дизайнере DataSet с DataTable (a.k.a. typed DataSet) и грузите данные напрямую в него. Названия колонок в DataTable должны соответствовать заголовкам колонок в Excel, даже если они на русском. Вот пример, должен работать с .XLS и .XLSX, насколько я помню:

var connString = string.Format(
    "Provider=Microsoft.Jet.OLEDB.4.0;Data Source={0};Extended Properties=\"Excel 8.0;HDR=Yes;IMEX=1\"",
    excelFileName);

var conn = new OleDbConnection(connString);
var cmd = conn.CreateCommand();
cmd.CommandText = string.Format(
    "SELECT"
    + " [Заголовок документа],"
    + " [Type],"
    + " [Description/Key Words],"
    + " [Start Date],"
    + " [End Date],"
    + " [Автор],"
    + " [*Категория],"
    + " [*Class],"
    + " [*Location],"
    + " [*Application User ID],"
    + " [Site]"
    + " FROM [{0}$]", // Не забудьте добавить $
        worksheetName);

var adapter = new OleDbDataAdapter(cmd);
var dataSet = new RecordsIntermediateDataSet();
try
{
    adapter.Fill(dataSet.TransferFormTable);
}
catch (OleDbException ex)
{
    switch (ex.ErrorCode)
    {
        case -2147467259:
            throw new ValidationException("Таблица '{0}' не найдена в Excel файле.", worksheetName);
        default:
            throw;
    }
}

Альтернативно, загрузите данные в базу, если есть доступ, и работайте с ней вместо Excel.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.