0

Есть 2 таблицы: users и clusters . В каждой таблице бины примерно такого вида:

users >

"user_id" {
    clusters: [cluster1, cluster2, ...], 
    username: xxx, 
    email: xxx, 
    ...}

clusters >

"cluster_id" {
    users: [
        {
          user_id: 1, 
          items: [{item: 5689, value: 8},{item: 4897, value: 5}, ... ]
        }, 
        {
          user_id: 2, 
          items: [{item: 3568, value: 7}, ... ]
        }, 
        ... ]

Проблема в том, что каждый пользователь может состоять в >10.000 кластерах. Нужно получать список пользователей в кластере и список кластеров для определенного пользователя.

Из-за ограничений Aerospike нельзя создать больше чем 32.767 бинов в таблице и даже если бы было можно, делать 10.000 операций записи каждый раз не выход... Из документации я так и не понял как работают Large Data Types, точнее, как они обновляются. Получается в один бин можно запихнуть сколько угодно записей, но сколько операций нужно будет чтобы записать/считать данные в моем случае? Каким образом перемещаются LDT в кластере учитывая, что все это находится в одном бине? Частями или же создается полная реплика бина? Как добавить объект в массив (clusters, items...) не затирая предыдущую запись?

В идеале нужна структура БД позволяющая делать атомарную запись. При каждой операции в бине "user_id" должен обновляться список кластеров, а в таблице clusters обновляться все бины "cluster_id" связанные с пользователем.

Возможно ли это сделать? Надеюсь на вашу помощь.

3
  • Насколько понимаю, вам на самом деле нужна иная база данных. То, что вы описываете - это, на самом деле, один большой граф, и добавление одного пользователя к кластеру - это добавление одной связи между узлами графа. Я понимаю, что Aerospike берет скоростью, но, насколько вижу по доке, он является исключительно key-value хранилищем, в то время как есть специальные графовые БД. Возможно, стоит просто взять Neo4j или аналог?
    – etki
    17 авг 2015 в 2:13
  • @Etki , да я уже и сам смотрел в сторону Neo4j , но думал, что в key-value тоже возможно :( . В Neo4j ответ где-то за 47мс в среднем, в Aerospike за 1мс можно добиться. Наверное Вы правы и придется строить все на графе. 17 авг 2015 в 3:00
  • Если там есть поиск по ключам с терпимой скоростью, то можно хранить сами связи с ключом в формате c%cluster%:u%user% и u%user%:c%cluster%, и искать результирующую связь по маске (хотя если там есть ограничение на количество записей, то нужно еще что-то придумать с шардингом. Но я бы все равно сразу смотрел в сторону графовой БД.
    – etki
    17 авг 2015 в 4:44

0

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Посмотрите другие вопросы с метками или задайте свой вопрос.