0

Необходимо написать запрос, который позволит быстро добавлять большое количество узлов и связей (не обязательно одновременно) в Neo4J базу при помощи Neo4j.Driver. Я пытаюсь создать тестовый вариант графа по типу обычной квадратной решетки, где перекрестия это узлы. С узлами проблем нет, в базу добавляются 360 000 узлов за 6 секунд, но со связями, которых при данном количестве узлов их будет около 700 000, программа буквально зависает, занимая 12 Гб оперативы.

using Neo4j.Driver;
using System.Diagnostics;

IDriver driver = GraphDatabase.Driver("bolt://localhost:7687", AuthTokens.None);
IAsyncSession session = driver.AsyncSession(o => o.WithDatabase("neo4j"));
try
{
    Stopwatch stopWatch = new Stopwatch();
    stopWatch.Start();
    //Добавляем узлы
    var prop = new Dictionary<string, object>{
        {"names", GetNodes(600, 600) }
    };
    var query = "WITH $names as xnames " +
                "UNWIND xnames as name " +
                "CREATE (:Point {name: name}) ";
    IResultCursor cursor = await session.RunAsync(query, prop); //Выполняется 4-8 сек
    //Добавляем связи
    var prop2 = new Dictionary<string, object>
    {
        {"nnodes", GetReferences(600, 600) }
    };
    var query2 = "WITH $nnodes as nnodes " +
                 "UNWIND nnodes as nnode " +
                 "MATCH (start:Point {name: nnode.name}) " +
                 "UNWIND nnode.ref as ref " +
                 "MATCH (end:Point {name: ref}) " +
                 "MERGE (start)-[:Road]->(end) ";
    cursor = await session.RunAsync(query2, prop2); //Неизвестно когда выполнится
    await cursor.ConsumeAsync();
    stopWatch.Stop();
    TimeSpan ts = stopWatch.Elapsed;
    string elapsedTime = String.Format("{0:00}:{1:00}:{2:00}.{3:00}",
        ts.Hours, ts.Minutes, ts.Seconds,
        ts.Milliseconds / 10);
    Console.WriteLine("RunTime " + elapsedTime);
}
catch(Exception ex)
{
    Console.WriteLine(ex.ToString());
}
finally
{
    await session.CloseAsync();
}
await driver.CloseAsync();

string[] GetNodes(int xCount, int yCount)
{
    var nodes = new string[xCount*yCount];
    for (int i = 0; i < xCount; i++)
    {
        for (int j = 0; j < yCount; j++)
        {
            nodes[i * yCount + j] = $"Px{i + 1}y{j + 1}";
        }
    }
    return nodes;
}
Dictionary<string, object>[] GetReferences(int xCount, int yCount)
{
    var result = new List<Dictionary<string, object>>();
    Random random = new Random();
    for (int i = 0; i < xCount; i++)
    {
        for (int j = 0; j < yCount; j++)
        {
            if ((j == yCount - 1) && (i == xCount - 1)) continue;
            var tmp = new Dictionary<string, object>();
            tmp.Add("name", $"Px{i + 1}y{j + 1}");
            var refList = new List<string>();
            
            if (i != xCount - 1)
                refList.Add($"Px{i + 2}y{j + 1}");
            if (j != yCount - 1)
                refList.Add($"Px{i + 1}y{j + 2}");
            tmp.Add("ref", refList.ToArray());
            result.Add(tmp);
        }
    }
    return result.ToArray();
}

На маленьких количествах отрабатывает нормально. Как оптимизировать данный запрос?

2
  • А зачем аам столько связей? Какой в этом практический смысл? На карте мира не уверен, что их намного больше. Да и базу они не за один раз добавлялись.
    – aepot
    Commented 24 нояб. 2021 в 17:41
  • В больших городах рёбер (которые являются дорогами) 300 - 800 тысяч. Хотел протестировать данную СУБД на эффективность добавления, получения, поиска кратчайшего пути.
    – Aruka
    Commented 25 нояб. 2021 в 1:03

0

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Посмотрите другие вопросы с метками или задайте свой вопрос.