Столкнулся с проблемой обработки и хранения больших объемов данных. Пишу исследовательское приложение, в задачи которого входит систематизация и обработка статистических данных. Исходный файл, содержащий собственно данные, представляет из себя бинарник, достигающий 1Гб в размере. После расфасовки данных в классы объем памяти, требуемый для хранения всех загруженных данных, может увеличиться до нескольких гигабайт. Но это так... для затравки =) В действительности же все еще хуже. Теоретически объем данных, который необходимо обрабатывать, может достигать таких размеров, что эти данные в принципе невозможно хранить в ОП.
Примером операции обработки может служить операция построения спектра на основе исходных данных, причем построение спектра не должно занимать более 2-3 сек. Т.е. необходимо извлечь данные из хранилища, сделать из них выборку и построить из выбранных данных спектр.
Пытался решить задачу двумя способами:
- Хранить данные на ЖД и делать выборку в ОП только необходимых в данный момент данных (прошу прощения за неблагозвучность).
- Вносить все данные в базу данных и делать выборки оттуда.
Первый способ в качестве плюсов имеет быструю скорость внесения записей в импровизированную "базу", но скорость выборок оставляет желать лучшего. Да и постоянная перекачка данных из ОП на ЖД и обратно, при объемах перекачиваемых данных сопоставимых с объемом ОП, провоцирует сбои в работе программы, вплоть до ее зависания.
Со вторым способом все наоборот. Прекрасно работают выборки, но время внесения данных в базу может достигать 3-ех минут (единовременно в базу необходимо вносить порядка 25к записей). Такое время совершенно неприемлемо.
Теперь о средствах проектирования. Приложение разрабатывается на C# в Visual Studio. Базу использовал MS-скую. Пробовал работать с базой через ORM и без него, нужных результатов не добился. Приложение работает в пределах одного ПК, данные поступают извне по Ethernet.
Какие средства можно использовать для быстрой обработки объемных данных?
BULK INSERT
обычно используют. В частности, в .NET есть удобная стандартная обёртка для него -SqlBulkCopy
. С его помощью спокойно можно загружать в SQL Server гиганские объемы(хоть сотни терабайт) данных, со скоростью фактически не отличающейся от скорости чтения/записи с диска(построение индексов и проверки ограничений проходят пост-фактум, уже после загрузки всех данных, тоже пакетно в фоне). – Sergey Rufanov 8 фев '16 в 14:13