Есть проект на nodejs. Столкнулся с проблемой, которую не знаю, как решить. Проект представляет собой бэк, который принимает от пользователей запросы, ходит в базу данных Oracle, так же реализовано кэширование запросов от БД(Данные в БД обновляются раз в N часов, поэтому нет смысла по одному и тому же запросу ходить БД, быстрее ответ просто вернуть из КЭШа).
Так же есть функция, которая запускается раз в некоторое время и проверяет состояние КЭШа(сортирует его, удаляет старое, если есть изменения в БД, обновляет данные и т.д.)
Взаимодействие с пользователями идет по сокету.
В случае, когда количество элементов в кэше достигает 300+ при нагрузке примерно в 5-7 запросов в секунду, когда, предположительно, запускается обновление кэша, процесс nodejs иногда "замирает". Нагрузка на CPU примерно 13%, RAM не меняется(+/- 10Кб из 600Мб - погрешность вычислений). Вывод console.log() останавливается, запись логов так же, на все запросы по сокету или ресту сервер не отвечает. Молчит.
Ошибка плавающая. На нагрузочном тестировании, давали нагрузку в 400-500 запросов в минуту, количество элементов в кэше достигало более 13000 элементов, стабильно работает и очистка и обновление данных... но в какой то момент может все просто замереть...
После замирания, сам процесс очухивается в разное время(5-7-45 мин) и может вывести в лог несколько строчек и опять замирает. Может ошибка вообще не случиться за все время теста(24 часа).
Кто знает, как можно "поймать" эту ошибку? Узнать, чем в этот момент занят event loop и занят ли он? Ведь что то процесс непрерывно делает на 13% CPU(8 потоков/ядер на серверах) Список зависимостей из package.json
"dependencies": {
"express": "^5.0.0-alpha.8",
"express-handlebars": "^5.2.0",
"ip": "^1.1.5",
"lodash": "^4.17.18",
"node-worker-threads-pool": "^1.5.0",
"oracledb": "^5.2.0",
"p-queue": "^7.1.0",
"redux": "^4.1.0",
"winston": "^3.3.3",
"winston-daily-rotate-file": "^4.5.0",
"ws": "^7.4.2"
},
node -v
-> 14.17.4
Циклов вида forEach, map крайне мало и используются только на маленьких массивах(до 10 элементов).
Вся обработка больших данных вынесена в worker_threads с использованием пакета node-worker-threads-pool(Организация пула воркеров).
Внутри организованы очереди по обработчикам(пакет p-queue), что бы не допускать большого количества запросов. На все виды действий установлен лимит выполнения, остальные ждут свое очереди.
Так же в описании пакета oracledb есть упоминание о настройке UV_THREADPOOL_SIZE, я ее не менял. Это может быть причиной "остановки" процессов, если допустим oracledb забило все обработчики и не отпускает их(Допустим БД проблема или ошибка в коде, что я ожидаю разблокировки объекта...)?
Проекту больше года, первую такую ошибку словил 2 месяца назад.
Прошу любой помощи и советов, как понять, что происходит? Почему останавливается обработка всего и вся...