Подскажите, пожалуйста, существует ли структура в которой можно оптимально хранить связи между элементами без больших затрат памяти? Данные могут храниться на жестком диске или распределенно. Просто на каждый элемент структуры будет приходиться по 500-800 млн связей и будут добавляться все новые связи с ростом количества элементов структуры.
3 ответа
IMHO это все сугубо теоретические измышления.
--
Даже уменьшив общий объем данных (ну, не одни же связи хранить?) на пару порядков все равно получим:
10^18 Byte ~ 10^6 HDD ~ 10^8 USD (это для самых дешевых).
Другая сторона проблемы:
если даже отбросить СУБД и заливать данные со скоростью 10^8 Byte/sec (очень приличная скорость просто для генерации чего либо внутри узла) и размазать работу по 1000 узлам получим 10^7 секунд (всего-то 115 суток)...
@finder39459, на кого работаете?
Используйте базу данных, ваши данные не поместятся в память.
Смотрите, почему не поместятся: у вас у элемента структуры порядка 10^9 связей, значит, в памяти 10^9 структур. Если каждая связь занимает хоть один байт, у вас расход памяти лишь на связи будет 10^9 * 10^9 байт, то есть 10^18 байт, то есть порядка эксабайта! Вы знаете систему, которая выделит вам столько памяти?
-
-
-
-
@finder39459: Да в принципе любую, (1) которая поддерживает данные ваших объёмов, (2) которую вы сможете подключить к своему языку программирования, (3) которая по результатам ваших тестов окажется достаточно быстрой для ваших задач.– VladD25 сен 2013 в 17:26
-
что же это за данные такие? может для них существуют более оптимальные структуры. Кстати, на одну связь можно использовать один бит. Но это не сильно уменьшит объем.– KoVadim25 сен 2013 в 17:38