1

Есть legacy проект, сделанный на платформе SQL Server Integration Services. Он занимается загрузкой данных из стороннего источника в БД аналитического слоя. Протокол организован таким образом, что в случае неудачной загрузки из источника все эти же данные предлагаются к загрузке в следующий раз. Из-за ошибки со строкой подключения загрузка данных не работала год - и теперь для удержания всех выходных данных в памяти этой самой памяти не хватает.

Теперь вопрос: можно ли данные, подготовленные внутри Script Component, отправить наружу в несколько приемов, без накопления буферных гигабайт в памяти? Сейчас код компонента, если его упростить выглядит примерно так:

public override void CreateNewOutputRows()
{
  var datasource = Enumerable.Repeat(new { a = 5, b = 42 }, 2000000); // Для примера, на самом деле эти данные приходят по WCF
  foreach (var obj in datasource) {
    SomeNamedOutputBuffer.AddRow(); // Вот тут на одной из итераций заканчивается память
    SomeNamedOutputBuffer.A = obj.a;
    SomeNamedOutputBuffer.B = obj.b;
  }
  SomeNamedOutputBuffer.SetEndOfRowset();
}

2 ответа 2

0

Буфер в SSIS обрабатывается автоматически, и при нехватке памяти записывается на диск либо переходит к получателю сам, поэтому код в вопросе - рабочий.

Сообщение о нехватке памяти для буферов еще не означает что скрипт из-за нее и вылетел, а проблема - в другом месте.


К примеру, у меня проблема была в тайм-ауте из-за закрытого порта.

-1

Script Source - сначала прочитает все данные, а затем долго будет их закидывать в буфер вывода. Уточнение - как пишет Microsoft про Source Component строки передаются следующему компоненту Data Flow при заполнении буфера, и это не связано с командой SetEndOfRowset. Основной вопрос для вас - позволит ли WCF повторно прочитать данные, если в первый раз обработка упала. Если да - возможны следующие варианты:

  1. Предположим, что SSIS гигабайты таки прожует. У него есть собственный механизм своппинга буферов на диск, за счет значительного падения производительности. Я бы оценил объем данных, по опыту буфер SSIS - это объем данных * 1.2-1.5, и превышение своппинга над доступной памятью. Если превышение больше 10 раз - своппинг лучше не применять. Важно - на диске должно быть место для своппинга, по умолчанию это temp директория пользователя под которым работает пакет.
  2. Вытаскивать данные в script source частями. Может, ваш WCF это позволит, или выкачать данные и сохранить их в некотором виде на диск, а затем написать новый Script и читать их порциями.

Если WCF даст вам прочитать данные только 1 раз - то модификация 2 подхода выше - сохранить данные на диск, а затем читать.

4
  • Если бы протокол позволял запрашивать данные частями - я бы не спрашивал тут. 22 мая 2016 в 19:01
  • Этот механизм своппинга как-то включается или включен по умолчанию? 22 мая 2016 в 19:02
  • Своппинг доступен всегда, и срабатывает когда не хватает RAM для буферов.
    – Ferdipux
    23 мая 2016 в 11:37
  • Фразу "своппинг лучше не применять" следует понимать так, что в этом случае вполне вероятно завершение пакета с ошибкой "не смог выделить память для буфера". Если такая ситуация вероятна - можно поиграться размером буфера, уменьшив его и повысив шансы выделения памяти при снижении производительности.
    – Ferdipux
    23 мая 2016 в 11:50

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.