Общение клиентских приложений с SqlServer происходит посредством протокола TDS (Tabular Data Stream Protocol), спецификацию которого можно найти здесь.
При bulk-загрузке клиент посылает серверу сообщение типа Bulk Load (раздел 2.2.1.5 спецификации):
2.2.1.5 Bulk Load
...
The client sends the INSERT BULK SQL statement and then sends a
COLMETADATA token that describes the raw data. Multiple rows of binary
data are then sent to the server.
...
т.е. серверу передаются (последовательно)
INSERT BULK
команда (специальная разновидность INSERT, не путать с BULK INSERT
)
- метаданные столбцов передаваемых данных
- собственно сами строки данных
Если сообщение длинное (например, текст команды длинный, или данных много, что типично для bulk-загрузки), то оно передаётся несколькими пакетами.
Для осуществления взаимодействия посредством TDS-протокола SqlBulkCopy использует вспомогательный класс TdsParser. Вообще TdsParser (вместе с TdsParserStateObject) является одним из краеугольных классов во внутренней инфраструктуре System.Data.SqlClient (и используется также такими классами как, например, SqlCommand, SqlDataReader, SqlConnection).
Последовательность от вызова метода WriteToServer (WriteToServerAsync) до отправки данных на сервер примерно такая:
WriteToServer
WriteRowSourceToServerAsync
WriteToServerInternalAsync
ReadFromRowSourceAsync
WriteToServerInternalRestAsync
CreateAndExecuteInitialQueryAsync
CreateInitialQuery
WriteToServerInternalRestContinuedAsync
AnalyzeTargetAndCreateUpdateBulkCommand
CopyBatchesAsync
SubmitUpdateBulkCommand
CopyBatchesAsyncContinued
WriteMetaData
CopyRowsAsync
CopyColumnsAsync
ReadWriteColumnValueAsync
GetValueFromSourceRow
TdsParser.WriteBulkCopyValue
Из этого наиболее интересно следующее.
Метод CreateInitialQuery формирует команду
SET FMTONLY ON
select * from [TableName]
SET FMTONLY OFF
которая используется для получения информации о столбцах целевой таблицы.
Метод AnalyzeTargetAndCreateUpdateBulkCommand формирует INSERT BULK
команду наподобие, например, такой
insert bulk [TableName] ([Id] int) with (TABLOCK)
Метод SubmitUpdateBulkCommand передаёт сформированный текст команды на сервер.
Метод WriteMetaData передаёт метаданные столбцов. В этом методе, что интересно, перед передачей метаданных есть строка кода
_stateObj._outputMessageType = TdsEnums.MT_BULK;
(префикс MT_
означает message type). Это значит, что передача Bulk load сообщения инициируется здесь, а не с отправки команды INSERT BULK
несколько ранее в методе SubmitUpdateBulkCommand. Если вернуться ненадолго в этот метод, то можно найти там вызов TdsExecuteSQLBatch, проследовав внутрь которого, можно обнаружить строку кода
stateObj._outputMessageType = TdsEnums.MT_SQL;
т.е. текст команды посылается отдельным сообщением.
Это несколько неожиданно, т.к. читая раздел 2.2.1.5 спецификации сложилось впечатление, что и текст команды также должен быть частью Bulk load сообщения. Впрочем, в разделе 2.2.6.1 спецификации
2.2.6.1 Bulk Load BCP
...
This message sent to the server contains bulk data to be inserted. The
client MUST have previously notified the server where this data is to
be inserted. For more information about the INSERT BULK syntax, see
[MSDN-INSERT].
...
поясняется (недостаточно явно, на мой взгляд), что Bulk load сообщение содержит данные для вставки, а перед его отправкой серверу нужно сообщить куда вставлять данные.
Таким образом, bulk-загрузка происходит посредством отправки двух сообщений серверу:
INSERT BULK
команда (куда вставляем)
- метаданные столбцов данных + строки данных (что вставляем)
Следуем дальше.
Метод CopyRowsAsync отвечает за передачу строк данных.
Внутри ReadWriteColumnValueAsync происходит вызов метода WriteBulkCopyValue класса TdsParser.
Внутри метода WriteBulkCopyValue последовательность вызовов примерно следующая
TdsParser.WriteBulkCopyValue
TdsParser.WriteValue/WriteSqlValue/WriteShort/WriteInt/WriteLong/WriteDouble/...
TdsParserStateObject.WriteByte/WriteByteArray
TdsParserStateObject.WritePacket
TdsParserStateObject.WriteSni
TdsParserStateObject.SNIWritePacket
SNINativeMethodWrapper.SNIWritePacket
Логика разнообразных вызовов, происходящих внутри WriteBulkCopyValue, заключается в основном в том, что данные (в байтовом представлении) пишутся в буфер, пока он не полон. Когда же буфер (будущий TDS-пакет) заполнился (TDS-пакет готов), происходит его отправка на сервер (метод SNIWritePacket).
Внутри SNIWritePacket вызов метода SNINativeMethodWrapper.SNIWritePacket - это обращение ко внешней библиотеке sni.dll, которая обеспечивает взаимодействие с транспортным уровнем (Shared Memory, Named Pipes, TCP).