Необходимо написать запрос, который позволит быстро добавлять большое количество узлов и связей (не обязательно одновременно) в Neo4J базу при помощи Neo4j.Driver. Я пытаюсь создать тестовый вариант графа по типу обычной квадратной решетки, где перекрестия это узлы. С узлами проблем нет, в базу добавляются 360 000 узлов за 6 секунд, но со связями, которых при данном количестве узлов их будет около 700 000, программа буквально зависает, занимая 12 Гб оперативы.
using Neo4j.Driver;
using System.Diagnostics;
IDriver driver = GraphDatabase.Driver("bolt://localhost:7687", AuthTokens.None);
IAsyncSession session = driver.AsyncSession(o => o.WithDatabase("neo4j"));
try
{
Stopwatch stopWatch = new Stopwatch();
stopWatch.Start();
//Добавляем узлы
var prop = new Dictionary<string, object>{
{"names", GetNodes(600, 600) }
};
var query = "WITH $names as xnames " +
"UNWIND xnames as name " +
"CREATE (:Point {name: name}) ";
IResultCursor cursor = await session.RunAsync(query, prop); //Выполняется 4-8 сек
//Добавляем связи
var prop2 = new Dictionary<string, object>
{
{"nnodes", GetReferences(600, 600) }
};
var query2 = "WITH $nnodes as nnodes " +
"UNWIND nnodes as nnode " +
"MATCH (start:Point {name: nnode.name}) " +
"UNWIND nnode.ref as ref " +
"MATCH (end:Point {name: ref}) " +
"MERGE (start)-[:Road]->(end) ";
cursor = await session.RunAsync(query2, prop2); //Неизвестно когда выполнится
await cursor.ConsumeAsync();
stopWatch.Stop();
TimeSpan ts = stopWatch.Elapsed;
string elapsedTime = String.Format("{0:00}:{1:00}:{2:00}.{3:00}",
ts.Hours, ts.Minutes, ts.Seconds,
ts.Milliseconds / 10);
Console.WriteLine("RunTime " + elapsedTime);
}
catch(Exception ex)
{
Console.WriteLine(ex.ToString());
}
finally
{
await session.CloseAsync();
}
await driver.CloseAsync();
string[] GetNodes(int xCount, int yCount)
{
var nodes = new string[xCount*yCount];
for (int i = 0; i < xCount; i++)
{
for (int j = 0; j < yCount; j++)
{
nodes[i * yCount + j] = $"Px{i + 1}y{j + 1}";
}
}
return nodes;
}
Dictionary<string, object>[] GetReferences(int xCount, int yCount)
{
var result = new List<Dictionary<string, object>>();
Random random = new Random();
for (int i = 0; i < xCount; i++)
{
for (int j = 0; j < yCount; j++)
{
if ((j == yCount - 1) && (i == xCount - 1)) continue;
var tmp = new Dictionary<string, object>();
tmp.Add("name", $"Px{i + 1}y{j + 1}");
var refList = new List<string>();
if (i != xCount - 1)
refList.Add($"Px{i + 2}y{j + 1}");
if (j != yCount - 1)
refList.Add($"Px{i + 1}y{j + 2}");
tmp.Add("ref", refList.ToArray());
result.Add(tmp);
}
}
return result.ToArray();
}
На маленьких количествах отрабатывает нормально. Как оптимизировать данный запрос?