4

После долгих изысканий о том, как лучше организовать инкрементальную сборку проекта в условиях локальной разработки для проекта с Docker-ом, я выбрал такое концептуальное решение:

Наличие Docker-а никак не должно влиять на работу инструментов для сборки проекта (gulp, webpack и т. д.), в частности навязывать новую файловую структуру проекта.

Я думаю, ввиду мнения специалиста @GrayHoax, такая концепция имеет право на существование:

Приложение, завёрнутое в докер ничем не отличается от приложения, выложенного на обычную виртуалку (за исключением способа развертывания).

Источник

Проект

введите сюда описание изображения

В проекте имеется несколько зависимостей (допустим dependency_a и dependency_b), доступ которым осуществляется с помощью инструмента Lerna. Для тех, кто с ним не знаком, скажу что судя по всему этот инструмент использует обычные npm-сысылки, а сам лишь только автоматизирует процесс их добавления.

Как бы Вы не критиковали структуру моего проекта за её непохожесть на обычный src/dest-шаблон, без Docker-а сборка проекта работает и собранное full-stack приложение помещается в папку 02-DevelopmentBuild (для режима локальной разработки).

Теперь нужно поместить этот проект в Docker-контейнер без прямого копирования, причем пути Docker должен правильно понять ссылки dependency_a и dependency_b.

Теперь, со следующим docker-compose.yaml:

version: "3"

services:

  logic:
    image: node:12.4
    command: npm run 'SPA incremental building' && npm run 'Run server'
    volumes:
      - .:/Application
    working_dir: /Application

Кстати, именно этот способ обеспечения доступа к локальным файлом мне порекомендовали в ответе на вопрос Как правильно объявлять Volum-ы в длинном синтаксисе Docker-а?. Увы, этот способ не учитывает npm-ссылки, потому возникает ошибка:

Error: Cannot find module '/packages/dependency_a/bin/dependency_a'.

Директория packages находится на уровень выше проекта, но возможно это для Lerna это не столько директория, сколько алиас.

На всякий случай покажу, как это выглядит в косоли:

введите сюда описание изображения

Другими словами, Docker не видит npm-ссылку, актуальную для файловой системы локального компьютера.

Концепция решения

  1. С точки зрения NPM и Lerna у меня всё сделано правильно ввиду того, что без Docker-а сборка проекта работает. Но это "правильно" для Docker-контейнера неактуально.

  2. Docker не должен навязывать условий, соблюдение которых поломает обычную сборку проекта без Docker-а (это что будет если каждый инструмент, будь то Docker, Gulp или Webpack начнут навязывать свои структуры проекта и так далее).

  3. Таким образом, Docker должен предоставлять функционал (API), который позволит объяснить только ему, где же надо искать dependency_a и другие.

Попытки решения без понимания

Ввиду того, что я задаю этот вопрос, я не знаю, как надо делать правильно, потому я эксперимента ради попробовал такое решение:

version: "3"

services:

  logic:
    image: node:12.4
    command: npm run 'SPA incremental building' && npm run 'Run server'
    volumes:
      - .:/Application
      - ../../packages/dependency_a:/Application/node_modules/dependency_a
      - ../../packages/dependency_b:/Application/node_modules/dependency_a
    working_dir: /Application
#    ports:
#      - "3000:3000"

Естественно, оно нерабочее. Вдобавок к этому, я не совсем понял, что сделал. Наконец, я и сам чувствую, что создание пересекающихся bind-ов (или создание одного поверх другого) - это что-то не то.

Сообщение об ошибке то же, что и раньше.

Анализ статьи о подобной проблеме

Подобная ситуация рассматривается в статье Developing a new Node module in a Docker container without using NPM link. Вот какое решение она предлагает:

RUN mkdir -p /usr/src/node_modules
 
ENV PATH /usr/src/node_modules/.bin:$PATH

docker-compose.yaml:

volumes:
- .:/usr/src/app
- ../redux-beacon-slack:/usr/src/node_modules/redux-beacon-slack

Оно мне не подходит в первую очередь потому, что у меня образ другой, не операционной системы, а node:12.4.

Недопустимые решения

Использовать только опубликованные npm библиотеки

Удобно организованная среда разработки является базовым требованием современной IT-индустрии. Применительно к npm это значит:

  1. Не должно быть никаких лишних релизов npm-библиотек ("чтобы просто посмотреть отладочную информацию").
  2. Если мы внесли какое-либо изменение в локально разрабатываемую npm-зависимость, то мы должны в реальном времени получать обратную связь от этого. Например, добавили console.log() в зависимость - тут же видим вывод в консоль при запуске основного приложения.

Изменение структуры проекта

ИМХО хороший инструмент должен адаптироваться под структуру уже существующих проектов, а не навязывать свою собственную.

Насчет Dockerfile

Как видите, его в проекте нет. Увидев пример без Docker файла, я решил убрать Dockerfile и добавить его снова только если на то будет рациональная причина.

Часто задаваемый вопрос: зачем мне Docker?

Нужен он мне собственно затем, зачем его и разрабатывали:

  1. Не зависеть от версии локально установленного NodeJS.
  2. Избежать полностью ручной установки NodeJS и других инструментов (например, баз данных) при деплое на продакшен.

В данном приложении заменить локальный Node.JS на Docker-образ - это лишь первый шаг, далее я буду добавлять образ с базой данных.

О копировании файлов

На англоязычном StackOverflow первый конкурс на английскую версию этого вопроса закончился без ответа. В комментариях люди что-то постоянно говорили про копирование файлов.

Этот момент я прояснил в вопросах Есть ли в Docker-e концепция доступа к локальным файлам без их прямого копирования? b Как правильно объявлять Volum-ы в длинном синтаксисе Docker-а? и вот какой вердикт: в режиме локальной разработки ничего копировать не надо, потому что такой принцип нарушит инкрементальную сборку, то есть автоматическую пересборку проекта в реальном времени при внесении изменений в исходный код и автоматическую перезагрузку страницы браузера при обновлении сборки. Вместо этого, нужно обеспечить доступ к проекту из Docker-контейнера (это уже достигнуто обычным bind-ом) и теперь объяснить ему, как интерпретировать неактуальные для него npm-сыылки.

13
  • это что будет если каждый инструмент... Но Вы же уже завязались на условия, навязанные Lerna) 13 ноя 2020 в 20:39
  • @Niki-Timofe А какие условия навязывает Lerna? Но даже если они есть, я не против от них отвязаться, если есть лучшие альтернативы Lerna. 13 ноя 2020 в 21:57
  • 1
    Не используйте симлинки. Симлинк "не протащит" внутрь то, на что он указывает. Это лишь указатель на место в файловой системе. А так как в докере файловая система монтируется своя, этот симлинк будет указывать внутри контейнера на не существующий файл. Вы сейчас делаете docker-compose up ...? Тогда добавьте в файл монтирования абсолютных путей - замените ../.. на абсолютный путь начиная с /. Тут сложность для новичков в том, что docker-compose и docker - разные вещи, в чем то совпадают, и это вносит путаницу. В docker-compose.yml можно указывать относит. и абсол. ссылки. 18 ноя 2020 в 11:17
  • 1
    PS. К сожалению, почти все мануалы не объясняют как реально работает докер. Мне помогло вот это видео. Если вы знакомы с понятием чрутинга, то докер делает очень похожие вещи 18 ноя 2020 в 11:24
  • 1
    Как я понял, вы хотите не напрямую в node_modules править пакет? Тогда можно примонтировать sudo mount --bind my_module node_modules/my_module. Отмонтировать sudo umount node_modules/my_module/. Прочитать об этом можно в man mount секция The bind mounts 20 ноя 2020 в 18:25

1 ответ 1

2
+500

Приложение, завёрнутое в докер ничем не отличается от приложения, выложенного на обычную виртуалку

Это справедливо с оговорками и чуть ниже о них напишу, а сейчас примем это как исходный посыл. Проблема, которая у вас возникает, а именно

Docker не видит npm-ссылку, актуальную для файловой системы локального компьютера

возникает потому, что вы не трактуете приложение в докере таким же образом, как бы вы его запускали на виртуалке в той части, что вы запускаете npm install или его аналог на хосте. Из-за этого возникают ссылки с путями на локальном хосте. Если вы проделаете такую же операцию с виртуальной машиной, т.е. установите зависимости на локальном хосте, а потом папку с приложением скопируете или примонтируете в файловую систему виртуалки, то получите ровно ту же проблему, что имеете сейчас в докере. Виртуалка или докер контейнер не знают ничего о файловой системе вашего хоста, и не могут обращаться к файлам в файловой системе хоста.

В этом вопросе описан способ, как сделать инкрементную сборку. И важный момент там заключается в том, что инсталяция пакетов происходит внутри контейнера. Именно это является главной проблемой у вас сейчас.

Обратите внимание также, что в этом подходе все манипуляции с зависимостями при разработке с использованием докера (например добавление нового пакета) происходит в самом контенере командами типа:

docker-compose run buildchain yarn add cat-names --dev

В вашем случае нужно запускать соответствующие команды Lerna, но тоже внутри контейнера.

Конечно, для ускорения работы имеет смысл сконфигурировать контейнер так, чтоб node_modules сохранялся между запусками (т.е. использовать volume). Это все есть той статье.

Теперь что касается параллелей между виртуалкой и докером. Это правда, что нет разницы, где приложение запускается в виртуалке или в докере. Но есть большая разница используется инкрементнальная сборка или нет. В prod инсталяциях создаются неизменяемые образы. Даже если нужно внести какое-то изменение на виртуалку, то правильный подход - это пересоздать ее (возможно на основе какого-то подготовленного образа). Виртуалки а тем более докер контейнеры должны быть immutable, в чем и заключается суть разделения на сборку и запуск из 12 factor app. Запуск в инкрементальном режиме - это уже отход от того, чтобы запускать приложение в том же режиме, что и на проде. Тем более, когда у вас есть необходимость синхронизации кода между двумя хостами. И нормально и ожидаемо, что это будет влиять на способ развертывания и запуска. Вопрос только в том, чтобы сделать это по возможности безболезненно и на какие компромиссы прийдется пойти.

10
  • Снова благодарю Вас за содержательный ответ. Чтобы закрыть этот вопрос, вынесем вердикт, ссылающийся на заголовок вопроса. Первая его часть будет такой: "Тот способ, который представлен в вопросе, проблематичный, потому что виртуальня машина или докер контейнер не знают ничего о файловой системе хоста. Для обеспечения инкрементальной сборки лучше использовать этот подход.". Но отсюда не вытекает ответ на вопрос, заданный в заголовке (можно ли заменить в контейнере npm-ссылки, актуальные для локальной машины). 16 ноя 2020 в 7:17
  • Чтобы закрыть этот вопрос, нужно либо объявить, что это невозможно, либо рассказать, как это возможно. Может быть, создать дополнительные Volum-ы для локальных зависимостей и программно переопределить ссылки при запуске Docker-контейнера? Может быть, в решении этого вопроса помогут сиcтемные переменные? И конечно, при окончательном деплое на продакшен будут использованы уже опубликованные npm-библиотеки. 16 ноя 2020 в 7:20
  • Очевидно, что сделать можно все, вопрос как всегда в цене (грубо говоря всегда можно внутри контейнера сначала все ссылки стереть вручную и заново сделать npm install). Вариантов много, но трудно экспериментировать чтоб ответить по сути и конкретными командами, так как у вас нестандартная структура проекта . Приведите в вопросе пример package.json, который будет делать такую сборку (т.е. в отдельную папку и т.д.), я не знаком с javascript на таком уровне, чтоб быстро сообразить, как такое сделать. 18 ноя 2020 в 0:25
  • 1
    Да. Вот этот код в читаемом виде с моими комментариями. Такую штуку я видел во многих проектах, и сначала не понимал зачем такие выкрутасы. А вот для ускорения билдежки. 18 ноя 2020 в 8:23
  • 1
    У подхода со слоями есть минус. При любом изменении в package.json будет делаться заново полный npm install с нуля. С volume изменение не касающееся зависимостей этого не требует, добавление новой зависимости установит только ее одну. Читайте mattgrayisok.com/… 18 ноя 2020 в 9:30

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.