0

Подскажите пожалуйста, каким образом лучше всего хранить многомерный динамический массив( размером от 120Гб до 8 - 20 Тб), а так же получать доступ к его элементам, не загружая при этом весь массив в оперативную память?

Главное условие - быстрый доступ чтения к элементам массива, остальное неважно. На крайний случай можно любой язык программирования, не только C#.

11
  • А где по-вашему хранится массив изначально? : не загружая при этом весь массив в оперативную память?
    – Salivan
    19 ноя 2012 в 18:07
  • изначально он создается в оперативной памяти, будет заполняться данными, дальше когда размера ОП не будет хватать, мне его надо сохранить и как то работать с ним с жесткого диска, возможно ли такое?
    – Merlin
    19 ноя 2012 в 18:11
  • ОП - это, в смысле ОЗУ, верно? @Merlin, вот вы ведь, наверняка, не новичок в программировании, но это все переворачивает с ног на голову: когда размера ОП не будет хватать, мне его надо сохранить и как то работать с ним с жесткого диска Это ж абсурд! Т.е вы предполагаете хранить в массиве +1000000 значений !? Вам это не кажется странным? C# довольно гибкий язык, большинство "черной" работы он берет на себя, в отличие от C++, к примеру. Но то, что вы пытаетесь сделать, разработчики C# не могли предвидеть =)
    – Salivan
    19 ноя 2012 в 18:17
  • 1
    @Merlin Что значить "весь он в оперативку на влезет точно"? И, кстати, кто такой SDD (у меня такого нет)? Т.е. массив не влезает в 128Гб? И если да, то на каком же оборудовании Вы собираетесь решать задачу и за какое время? И стоит ли за такой супер-мега-проект браться? (Напомните, на скольки сотнях персоналок изначально свой MapReduce google-то гонял?)
    – alexlz
    19 ноя 2012 в 19:09
  • 1
    @alexlz можете оставить при себе свое мнение насчет проекта. Я поставил вполне четко заданный вопрос. > каким образом лучше всего хранить > многомерный динамический массив( > размером от 120Гб до 8 - 20 Тб), а так > же получать доступ к его элементам, не > загружая при этом весь массив в > оперативную память? > > Главное условие - быстрый доступ > чтения к элементам массива, остальное > неважно. На крайний случай можно любой > язык программирования, не только C# Это и есть проблема, если Вы её не видите то не разводите пожалуйста демагогию. ПК - обычный среднестатистический десктоп.
    – Merlin
    20 ноя 2012 в 8:24

1 ответ 1

1

Если массив "плотный", то быстро (хотя, зависит от способа использования) работать не получится.

Разряженный же (подавляющее большинство элементов нули (или какое-то другое, предопределенное значение)) можно хранить в хэш-таблице с ключем из индексов.

5
  • Спасибо. А хранение и доступ к элементам массива не в оперативной памяти как осуществить?
    – Merlin
    19 ноя 2012 в 18:40
  • Хороший вопрос. Например можно хранить в СУБД. Но скорее всего надо придумать формат файла (прямого доступа) в котором можно эффективно хранить хэш-таблицу. Тут просто будет проблема эффективного доступа к коллизиям. Надо придумать такой фформат, чтобы элементы коллизий попадали по возможности в одну "запись" на диске (в общем чтобы их можно было читать одним read-ом).
    – avp
    19 ноя 2012 в 18:50
  • @Merlin, как я понял из других комментариев, Вы собираетесь использовать SSD. Идея хорошая, особенно в плане хранения структур прямого доступа, правильный подход к формату может оказаться другим, по сравнению с HDD, но насколько мне известно там есть подводные камни с производительностью. Известно, что журналы Oracle размещать на SSD не рекомендуется (на HDD оказывается быстрее). Правда лично мне экспериментировать с ними (SSD и т.п.) пока не довелось.
    – avp
    19 ноя 2012 в 20:04
  • @avp сторонние бд не пока не хочу использовать, попробую как Вы и порекомендовали поэкспериментировать с форматом файла. Скажите пожалуйста вот эта статья подходит под решение? habrahabr.ru/post/124900 Ни разу не сталкивался с форматами файлов.
    – Merlin
    19 ноя 2012 в 20:37
  • 2
    Посмотрел статью в хабре. Не думаю, что это Ваш случай. Я имел в виду форматы двоичных файлов (без претензий на кроссплатформенность). Т.е. формат, который быстро (почти без преобразований) читается-пишется. Что-то, с чем можно работать напрямую системными read/write/lseek. Естественно, адреса частей файла, прочитанных в память надо настраивать. Внутри частей возможно получится хранить некие смещения (индексы) и работать с ними, а не с непосредственно указателями. Вообще-то говоря это, я видимо подразумеваю скорее реализацию на Си.
    – avp
    19 ноя 2012 в 21:50

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.