2

Подскажите, пожалуйста, существует ли структура в которой можно оптимально хранить связи между элементами без больших затрат памяти? Данные могут храниться на жестком диске или распределенно. Просто на каждый элемент структуры будет приходиться по 500-800 млн связей и будут добавляться все новые связи с ростом количества элементов структуры.

3 ответа 3

2

IMHO это все сугубо теоретические измышления.

--

Даже уменьшив общий объем данных (ну, не одни же связи хранить?) на пару порядков все равно получим:

10^18 Byte ~ 10^6 HDD ~ 10^8 USD (это для самых дешевых).

Другая сторона проблемы:

если даже отбросить СУБД и заливать данные со скоростью 10^8 Byte/sec (очень приличная скорость просто для генерации чего либо внутри узла) и размазать работу по 1000 узлам получим 10^7 секунд (всего-то 115 суток)...

@finder39459, на кого работаете?

0

Используйте базу данных, ваши данные не поместятся в память.

Смотрите, почему не поместятся: у вас у элемента структуры порядка 10^9 связей, значит, в памяти 10^9 структур. Если каждая связь занимает хоть один байт, у вас расход памяти лишь на связи будет 10^9 * 10^9 байт, то есть 10^18 байт, то есть порядка эксабайта! Вы знаете систему, которая выделит вам столько памяти?

9
  • не обязательно оперативная память, сейчас уточню вопрос 25 сен 2013 в 17:18
  • @finder39459: Ну так, я ж пишу, используйте базу данных.
    – VladD
    25 сен 2013 в 17:20
  • реляционную? 25 сен 2013 в 17:22
  • @finder39459: Да в принципе любую, (1) которая поддерживает данные ваших объёмов, (2) которую вы сможете подключить к своему языку программирования, (3) которая по результатам ваших тестов окажется достаточно быстрой для ваших задач.
    – VladD
    25 сен 2013 в 17:26
  • что же это за данные такие? может для них существуют более оптимальные структуры. Кстати, на одну связь можно использовать один бит. Но это не сильно уменьшит объем.
    – KoVadim
    25 сен 2013 в 17:38

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.