5

Эти два явления связанные, потому я объединил их в одни вопрос.

При первом запуске Node.js-утилит типа Gulp или Webpack происходит большая задержка до начала выполнения скрипта, да и само вермя выполнения относительно долгое. При повторном запуске уменьшается как задержка (практически исчезает), так и время выполнения скрипта. Подчеркну, что я не имею ввиду инкрементальную пересборку, какая например есть в Webpack - я имею ввиду прерывание выполнения скрипта и ручной перезапуск его из консоли.

Всё возвращается на исходные позиции после перезагрузки компьютера, ввода его в ждущий режим или просто если некоторое время не запускать подобные приведённые выше утилиты.

Задержка после запуска скрипта на примере Gulp

После запуска gulp-а на некоторое время консоль подвисает и отображается только введённая команда:

введите сюда описание изображения

Далее по прошествии некоторого времени (секунд 20-30) в консоли уже начинает появляться обратная связь от запущенного скрипта:

введите сюда описание изображения

О воспроизведении

Если я сделаю простой минимальный gulp-проект или webpack-проект и раздам его на GitHub, то он запустится и соберётся за считанные секунды, потому явление снижения время сборки при перезапуске Вы не пронаблюдаете. А дать доступ к реальному проекту, где много файлов, я как Вы понимаете не могу. Поэтому если приведённых ниже экспериментальных данных недостаточно для того, чтобы объяснить, что происходит, значит не судьба.

Снижение время повторной сборки после ручного перезапуска

Ниже приведены экспериментальные данные сборки другого проекта. Сборка проекта тоже основана на Gulp, но там также есть и интегрированный Webpack, и компиляция TypeScript-а.

Основное время занимает сборка файла браузерного приложения FrontEndEntryPoint.js и серверной точки входа BackEndEntryPoint.js. При первом запуске всё это дело собирается порой аж минут 20, но при повторных запусках время сборки падает до порядка одной минуты.

День 1

Попытка 1 После включения компьютера

  • Общее время сборки до автоматического открытия в браузере: 18 минут
  • Сборка FrontEndEntryPoint.js: 841 секунда
  • Сборка BackEndEntryPoint.js: 405 секунд

Значительный вклад в это время вносит описанное выше явление - какое-то время в консоли не отображается никакой обратной связи.

Попытка 2 Последующая

  • Общее время сборки автоматического открытия в браузере: 55 секунд
  • Сборка FrontEndEntryPoint.js: 44 секунды
  • Сборка BackEndEntryPoint.js: 22 секунды

День 2

Попытка 1 После использования компьютера целый день

  • Общее время сборки до автоматического открытия в браузере: 21 с половиной минуты
  • Сборка FrontEndEntryPoint.js: 1074 секунды
  • Сборка BackEndEntryPoint.js: 519 секунд

Попытка 2 Последующая

  • Общее время сборки до автоматического открытия в браузере: 2 минуты 14 секунд
  • Сборка FrontEndEntryPoint.js: 74 секунды
  • Сборка BackEndEntryPoint.js: 73 секунды

В этот раз обе точки входа были собраны почти за одинаковое время, хотя обычно BackEndEntryPoint собирается в 2 раза быстрее FrontEndEntryPoint.js.

Попытка 3 Последующая

  • Общее время сборки до автоматического открытия в браузере: 50 секунд
  • Сборка FrontEndEntryPoint.js: 41 секунда
  • Сборка BackEndEntryPoint.js: 20 секунд

Попытка 4 Последующая

  • Общее время сборки до автоматического открытия в браузере: 56 секунд
  • Сборка FrontEndEntryPoint.js: 43 секунды
  • Сборка BackEndEntryPoint.js: 22 секунды

День 3

Попытка 1 После выхода компьютера из ждущего режима

  • Общее время сборки до автоматического открытия в браузере: 24 минуты
  • Сборка FrontEndEntryPoint.js: 1195 секунды
  • Сборка BackEndEntryPoint.js: 696 секунды

Попытка 2 Последующая

  • Общее время сборки до автоматического открытия в браузере: 2 минуты 45 секунд
  • Сборка FrontEndEntryPoint.js: 72 секунды
  • Сборка BackEndEntryPoint.js: 68 секунды

Попытка 3 Последующая

  • Общее время сборки до автоматического открытия в браузере: 54 секунд
  • Сборка FrontEndEntryPoint.js: 43 секунды
  • Сборка BackEndEntryPoint.js: 22 секунды

Сведения о компьютере

Компьютер отнюдь не слабый (игровой ноутбук):

  • Процессор: Intel(R) Core(TM) i7-8750H @ 2.20 GHz
  • RAM: 16 GB

Никаких других проблем с быстродействием на нём не имеется.

Вопрос

Можете ли Вы сказать, чем объясняются эти явления?

Я сам предполагаю, что первом запуске многие данные запускаемых скриптов кэшируются, потому повторные запуски проходят гораздо быстрее. Однако, если скрипты некоторое время не запускать, то кэш очищается, а потому время запуска и выполнения снова увеличивается.

Но это лишь моё предположение, так как на данный момент принципы работы кэширования в NodeJS мне абсолютно незнакомы.

10
  • @nörbörnën, я просто думал, что это насколько обычное явление, что оно не требует конкретного примера, но Ваша реакция означает, что это не так и что все обычные node-утилиты сразу же без задержек начинают своё выполнение в консоли. Я правильно Вас понял? 14 мая 2021 в 7:08
  • "все обычные node-утилиты сразу же без задержек начинают своё выполнение в консоли" я не вижу в моём комментарии такого утверждения, так что вы поняли меня не правильно. 14 мая 2021 в 8:30
  • 1
    чисто из общих соображений, по-моему, дело в кеше. Т.е. node.js кеширует скомпиленный код проги. я знаю, что npx кеширует утилиты без их удаления (это я про подводные камни node.js, которых, по-моему, достаточно много), + в C# тоже JIT есть. может в этом дело и в этом направлении посмотреть стоит. такие оптимизации повсюду: начиная от процессора и заканчивая вашим языком высокого уровня.
    – return
    8 июн 2021 в 17:44
  • 1
    @return, благодарю Вас за комментарий. Полагаю, Вы приблизились к ответу. 9 июн 2021 в 12:02
  • 1
    если не будет ответов нужно будет посмотреть source code node.js, а именно самой утилиты node. если вам кажется, что это будет бесплодно, то я таким образом нашёл вышеупомянутый баг про кешируемые пакеты npx. да, долго, зато после плодотворной работы вы будете довольны :)
    – return
    9 июн 2021 в 18:13

2 ответа 2

3

Этот ответ является предположением и может быть ошибочным

node_modules - это куча мелких файлов, которые нужно прочитать прежде чем выполнять. Чтение с диска такой мелочёвки - штука довольно длительная. При повторном запуске надо прочитать те же самые файлы, но есть такая штука, как дисковый кэш, из которого их можно прочитать быстрее - вот и получается ускорение за счёт экономии на чтении скриптов.

3
  • Благодарю Вас за ответ! То, что Вы говорите, очень похоже на правду, потому что моя основанная на Gulp и Webpack утилита даже будучи собранной Webpack-ом подключает зависимости в ходе выполнения (за счёт WebpackNodeExternals). Видимо многочисленные gulp- и webpack-плагины, а также другие библиотеки - это и есть та самая куча мелких файлов, о которой Вы говорите. 10 июн 2021 в 23:53
  • 1
    Чтобы подтвердить или опровергнуть я бы попробовал запустить сборку с ram диска-а. Если дело в дисковом кеше, то тут скорость будет одинаковая при любом запуске (и сравнимая с "быстрыми" случаями) 11 июн 2021 в 1:18
  • Я приношу свои извинения за то, что не могу присвоить награду сразу двум ответившим. Ваш ответ, как я уже сказал, вполне правдоподобен и потому заслуживает награды, но к сожалению, присвоить награду можно только одному участнику... 11 июн 2021 в 23:56
2
+50

В комментариях выяснилось, что файлы обитают на ноутбучном HDD и на системе орудует антивирус. Соответственно тут возникает типичная ситуация холодного старта - пре первом обращении данные медленно поднимаются с диска и сканируются антивирусом. При последующих обращениях значительная часть данных уже будет в оперативной памяти, и уже проверенная. Соответственно рекомендации:

  1. заменить hdd на ssd
  2. отключить антивирус, или хотя бы добавить рабочие папки проектов в исключения
  3. нарастить объем оперативной памяти, чтобы данные не так скоро вымывались из памяти
3
  • Вроде нормальные антивирусы сканируют файлы один раз и потом помнят, что уже просканировано?
    – Qwertiy
    12 июн 2021 в 11:27
  • Когда файл попадается повторно, то он по идее все равно должен быть проверен на аутентичность, как минимум. 12 июн 2021 в 18:17
  • Следование одной только Вашей первой рекомендации решило проблему. Честно говоря, я не знал, что разработчики должны де-факто хранить свои проекты на SSD, а компьютеры с HDD для разработки больше не годятся. Это важно иметь ввиду, когда начальник будет скупиться на хороший компьютер =) 3 июл 2021 в 8:57

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.