27

Расскажите, кто и как решает проблему хранения конфигурационных файлов в git?

Полностью исключать их нельзя, так как проект может не собраться и/или не запуститься. В тоже время в таких файлах, как правило, хранится частная информация (данные для авторизации на внешних сервисах и т.д.).

Сейчас я размещаю в git файлы с расширением .sample (например Web.config.sample или config.yml.sample) и пишу в документации, что перед тем как запустить проект, необходимо переименовать sample-файл и заполнить его правильными значениями. Сами конфигурационные файлы я добавляю в .gitignore.

Недостатки такого подхода:

  • необходимо постоянно синхронизировать sample-файл c оригинальным конфигурационным файлом (добавились/изменились/удалились опции),
  • другим пользователям нужно сделать дополнительное действие (переименовать файл), что они могут забывать делать (кто же читает документацию?)

Возможно существуют и более удачные решения. Можно ли c git придумать что-то более удобное?

4
  • В гите есть hooks git-scm.com/book/en/v2/Customizing-Git-Git-Hooks Смысл в том, что на все git действия можно повесить выполнение своих скриптов. Смотреть в папке .git/hooks
    – novus42
    13 апр 2015 в 12:53
  • Это лучший подход.
    – Alex78191
    22 июн 2017 в 4:18
  • Самое простое, организовать другой репозиторий, чистый, для деплоя. И заполнять его хуком с первого, на котором полный набор файлов, файлы копировать по списку, тогда ничего лишнего не будет. И дефаулт конфигурации в него можно положить, они вам мешать не будут.
    – NewView
    29 авг 2018 в 17:00

7 ответов 7

19
+50

К сожалению, все так. В систему контроля версий не должны попадать конфигурационные файлы, которые не запустятся на других хостах, поэтому, как правило, ПО распространяется без реальных конфигов, и в консольные команды добавляется команда начальной конфигурации, которые могут сформировать этот файл.

Добавление обязательных конфигурационных опций на ходу - плохая идея, по крайней мере между major-версиями. Они должны иметь свое значение по умолчанию, при котором приложение продолжает вести себя так же, как и раньше. Все эти -webkit-something-tralala в CSS появились ровно оттуда же - давайте добавим эту штуку, но не будем ее пихать как готовую опцию, когда будем готовы к внедрению - внедрим, чтобы она точно не переименовывалась и не менялась потом (конкретно в CSS имена задаются стандартом, но общая идея должна быть ясна).

Впрочем, один хак я для себя нашел - весь dev-env засовывается в вагрант, где можно свободно писать любые конфиги и менять их на ходу, в результате в команде разработчиков можно свободно играться с тестовой конфигурацией.

Еще одна штука, которая помогает - это "параллельные" файлы, в которых переопределяются значения: configuration.yml содержит в себе некоторую конфигурацию, а configuration.local.yml - всего пару опций, который "берут верх" над аналогичными опциями из configuration.yml.

5
  • А можно поподробнее про vagrant? Если, использовать "параллельные" файлы, то необходимо изменить код приложения, "научив" его читать эти файлы и правильно обрабатывать. Возможно, где-то это и применимо, но, увы, не в моём случае.
    – avb
    13 апр 2015 в 12:36
  • 3
    @avb, vagrant - это программа для автоматизированного создания и запуска виртуальных машин (в основном для обслуживания потребностей разработки). Таким образом можно создать виртуальную машину, которая будет одинакова у всех разработчиков. vagrantup.com
    – etki
    13 апр 2015 в 12:42
  • Отличный ответ, идея с параллельными файлами выглядит очень удобной.
    – Nick Volynkin
    22 июн 2017 в 3:45
  • Похоже делается у PHPUnit: есть файл общий phpunit.xml.dist и частный phpunit.xml
    – sanmai
    22 июн 2017 в 4:05
  • 1
    В ant можно реализовать "параллельные" файлы конфигурации в build.xml через <property file="build.local.properties" /><property file="build.properties" />. Здесь значения из файла build.local.properties перекроют значения из build.properties. Файл build.local.properties может и не существовать и он не должен храниться в репозиторий. У нас ant запускается из provision скрипта в vagrant и на удалённом сервере при деплое 4 июл 2017 в 9:36
14
+100

На эту тему высказались авторы манифеста 12 factors.

Вот что они пишут о конфигурации:

Лакмусовой бумажкой того, правильно ли разделены конфигурация и код приложения, является факт того, что кодовая база приложения может быть в любой момент открыта в свободный доступ без компрометации каких-либо приватных данных.

Далее:

Другим подходом к конфигурации является использование конфигурационных файлов, которые не сохраняются в систему контроля версий, например, config/database.yml в Rails. Это огромное улучшение перед использованием констант, которые сохраняются в коде, но по-прежнему и у этого метода есть недостатки: легко по ошибке сохранить конфигурационный файл в репозиторий; существует тенденция, когда конфигурационные файлы разбросаны в разных местах и в разных форматах, из за этого становится трудно просматривать и управлять всеми настройками в одном месте.

Это как раз способ, который описан в вопросе. Авторы манифеста предлагают такое решение:

Приложение двенадцати факторов хранит конфигурацию в переменных окружения (часто сокращается до env vars или env). Переменные окружения легко изменить между развёртываниями, не изменяя код; в отличие от файлов конфигурации, менее вероятно случайно сохранить их в репозиторий кода; и в отличие от пользовательских конфигурационных файлов или других механизмов конфигурации, таких как Java System Properties, они являются независимым от языка и операционной системы стандартом.

Естественно, всё это применимо в основном к веб-приложениям. Для десктопных и мобильных приложений эти правила уже не подходят.

От себя добавлю, что Azure-приложения ASP.NET и ASP.NET WebAPI сейчас настраиваются именно так: в панели приложения на вкладке Application settings можно указать переменные окружения. Тоже самое в Heroku.

Пример

В нашем проекте требуется рассылать электронные письма и СМС. Естественно, на локальных контурах разработчиков и на общем контуре разработки ничего рассылать не надо, но при этом нужен доступ к содержимому уведомлений. То есть разработчики должны видеть, что служба уведомлений сработала, и видеть, что именно будет отправлено клиенту на боевом контуре.

Поскольку мы используем внедрение зависимостей, мы сделали несколько реализаций классов, рассылающих уведомления. Продуктовая реализация осуществляет отправку писем, а реализация разработчиков пишет уведомления в файл. В качестве библиотеки IoC мы используем Autofac, который позволяет регистрировать зависимости в конфигурационном файле, так что в нашем Web.config была зарегистрирована служба уведомлений для разработчиков.

MSBuild умеет трансформировать конфигурационные файлы ASP.NET проектов во время развёртывания. Если в вашей папке находятся файлы Web.config и Web.Release.config, при развёртывании проекта в конфигурации Release MSBuild применит трансформации из Web.Release.config к Web.config. Можно менять атрибуты разделов, добавлять и удалять подразделы. Мы у себя меняли регистрируемый класс, так что на контуре Release запускалась реальная служба уведомлений вместо отладочной.

Тогда нас такое решение устроило.

Некоторое время всё работало хорошо, но потом вышла 4-я версия Autofac, которая стала совместима с новой системой конфигурирования .NET. При этом разработчики Autofac выпилили поддержку старого способа, то есть старых добрых Web.config и App.config. При этом MSBuild не умеет автоматически трансформировать новые файлы конфигурации.

Пришлось переделать схему. Теперь для каждого контура мы стали хранить свою версию конфигурации IoC в файлах IoC.Dev.json, IoC.Stage.json, IoC.Release.json. Загрузка нужного файла конфигурации стала осуществляться так:

Startup.cs

var configName = Environment.GetEnvironmentVariable("APPSETTING_CONFIG_NAME") ?? "Dev";
var config = new ConfigurationBuilder().AddJsonFile($"IoC.{configName}.json", optional: true, reloadOnChange: true);
var module = new ConfigurationModule(config.Build());
builder.RegisterModule(module);

Это было стихийное решение, которое мы обнаружили в Google и смогли применить к нашему Azure-проекту. Однако это ещё не идеал с точки зрения 12-тифактороного приложения. Часть настройки действительно вынесена в переменную окружения, но часть находится в файлах IoC.*.json.

Что не так? Администратор системы может решить, что файлы IoC.Dev.json, IoC.Stage.json, IoC.Release.json можно спокойно менять, хотя на самом деле мы довольно суровы относительно них. Нам не нужна здесь универсальность и гибкость, мы бы хотели ограничить настройку двумя вариантами: а) шлём уведомления; б) складываем уведомления в секретное место.

Так что мы можем захардкодить эти две стратегии и при старте приложения выбирать ту из них, которая указана в переменной окружения:

var notifyStrategy = Environment.GetEnvironmentVariable("APPSETTING_NOTIFY_STRATEGY");
switch (notifyStrategy)
{
case "send":
    builder.RegisterType<ReadNotifier>().As<INotifier>();
    break;

case "save":
    builder.RegisterType<FakeNotifier>().As<INotifier>();
    break;

default:
    throw new ArgumentException("Ну всё теперь.", nameof(notifyStrategy));
}

Теперь администратор приложения может конфигурировать его на своём уровне погружения. Он не сломает ничего важного в дебрях XML/JSON IoC. В результате нам удалось полностью избавиться от файлов конфигурации на этом уровне и стать ближе к идеалам 12-тифакторных приложений.

Исходя из этого, я бы советовал:

  1. Все секретные настройки, включая строки подключения к базам данных, логины и пароли для отправки писем и прочее, брать из переменных окружения. Развёртывание приложения свести к запуску одной команды (для .NET это MSBuild). Переменные окружения и процесс развёртывания описать в README.md.

  2. Внедрение зависимостей реализовывать непосредственно в коде, предоставляя несколько стратегий, которыми будет управлять администратор. Он скажет вам спасибо, если ему не придётся изучать детали приложения, и он сможет одной настройкой внедрить совершенно другой набор из трёх-пяти-десяти типов, не разбираясь в их взаимосвязях.

  3. Некоторые конфигурационные файлы на самом деле представляют из себя декларативную часть кода и не требуют изменения после развёртывания. Детали зависит от языка, думаю, что чаще это встречается в интерпретируемых языках. Такие файлы мы не должны считать истинно конфигурационными и можем оставить их в проекте как есть.

  4. Конфигурацию, которую может менять администратор и которая может сохраняться между развёртываниями, вынести в БД. Можно и в файл, но в этом случае он может быть уничтожен при неаккуратном развёртывании. Значения в базе или в файле, если их нет при первом запуске системы, прописываются стандартные из кода.

0
9

Я стараюсь делать следующим образом. Сначала программа пытается использовать конфигурацию, специализированную для текущего хоста, из файла config-hostname.xml. Вся чувствительная информация хранится в нём, и в git он не попадает благодаря игнорированию по маске config-*.xml. Если же специализированная конфигурация отсутствует, то используется дефолтная из файла config.xml, который сохраняется в репозитории. По истории изменений этого файла очень удобно отслеживать, когда появились те или иные фичи. Часто удобнее, чем искать по сhangelog'у.

В тех случаях, когда некоему параметру невозможно придумать осмысленное значение по умолчанию, но в то же время и убирать его совсем из дефолтной конфигурации не хочется (должно быть понятно, что он вообще есть), я прописываю ему какое-нибудь заведомо невалидное специальное значение (-1 или строку "must be customized"). Программа при работе с таким параметром понимает это значение, выдаёт соответствующую диагностику и выходит.

6

Я именно храню sample-версии конфиг-файлов. Чисто для того, чтобы почитать пример, как это может выглядеть. Настоящие конфиги собираются при помощи ansible.

Именно он и подставляет критичную информацию типа паролей.

Выгоды налицо: централизованное описание и хранение конфигураций, все файлы промаркированы.

В ряде случаев для упрощения жизни пользуюсь следующим трюком: пароли dev-конфигураций представляют собой md5 от паролей на production.

Как-то так:

[mysql]
host     = "{{ databases_mysql[0].dbhost }}"
dbname   = "{{ databases_mysql[0].dbname }}"
user     = "{{ db_users_mysql[0].name }}"
password = "{{ mask_pwd | ternary(db_users_mysql[0].password|hash("md5"),db_users_mysql[0].password) }}"

, где mask_pwd - логическая переменная, маскировать или нет пароль (устанавливается в зависимости от вида окружения).

1
  • Кстати, непонятно, откуда же берутся и где хранятся критичные данные, подставляемые в шаблоны. Может быть, вы приведете пример или более подробное объяснение? (Возможно, отдельным вопрос-ответом)? С меня награда репутацией. )
    – Nick Volynkin
    29 июн 2017 в 6:23
2

Я храню дефолтную конфигурацию в файле .env в корне проекта.

ENV_database_host=127.0.0.1

Этот файл - один и тот же для всех разработчиков, он попадает в git-репозиторий. Файл загружается при запуске docker-compose up -d и значения попадают в контейнер через блок environment в описании сервиса docker

services:
    php:
        environment:
            ENV_database_host: "${ENV_database_host}"

Затем это значение загружается в параметры приложения на Symfony в файле parameters.yml

parameters:
    database_host: "%env(ENV_database_host)%"

И уже параметр database_host используется в сервисах DI контейнера Symfony "как обычно"

На удалённом сервере значения из файла .env должны быть перекрыты другими. Для этого в настройках Pipeline CI\CD в репозитории GitLab создаются переменные для каждого из окружений со своим суффиксом. Например ENV_database_host_MASTER для staging и ENV_database_host_PRODUCTION для production.

Чтобы на удалённый сервер попала правильная конфигурация, значения переменных⁠-⁠с⁠-⁠суффиксом переносятся в переменные без суффикса, файл docker-compose.yml компилируется с уже перекрытыми значениями и результат копируется на сервер

docker-compose -f docker-compose-deploy.yml config > build/docker-compose.yml
1

Все описанное ниже относится к spring приложению, первый пункт можно отнести и к другим технологиям, если возможно подстановка данных из переменных среды.

  • Есть множество способов задания конфигурации настроек. Но действительно есть определенные чувствительные данные(пароли, credentials и т.д.), которые нельзя хранить в открытом доступе. В этом случае можно использовать вариант хранения скелета настроек в property файлов в git`е, но с подстановками из enviroment переменных. В этом случае чувствительные данные будут прописываться в OC.
  • У первого пункта есть один существенный недостаток - синхронизация таких данных между различными серверами. Данная ситуация может возникнуть при микросервисной и SOA архитектурах(одно или несколько приложений используют одни credentials). На этот случай есть spring cloud vault, который позволяет ограничить доступ к таким данным через авторизацию приложений. Официальное описание проекта.

    Spring Cloud Vault Config provides client-side support for externalized configuration in a distributed system. With HashiCorp’s Vault you have a central place to manage external secret properties for applications across all environments. Vault can manage static and dynamic secrets such as username/password for remote applications/resources and provide credentials for external services such as MySQL, PostgreSQL, Apache Cassandra, MongoDB, Consul, AWS and more.

1

Как способ, наверно, решить эту проблему использование систем непрерывной интеграции которые сами будут тебе создавать конфигурацию с переменной среды.
Переменная среды устанавливается в самой системе непрерывной интеграции.
TeamCity так может, в других CI думаю присутствует такая возможность. Так же там есть возможность добавлять кроме переменных сред еще и параметры, системные свойства что очень удобно.
Ко всему этому удобностью является написание скриптов сборки.
Пример генерации конфигурации на примере js файла

file=$(cat <<EOF 
export const SERVER_URL = '%dev.server_url%';
export const PREFIX = '%dev.api_prefix%';
export const API_URL = '%dev.api_url%';
export const imgPath = '%dev.server_url%';
export const DefaultLanguage = '%dev.default_lang%';
export const GoogleMapsKey = '%dev.google_maps_key%';
export const ConfigAuth = {
    vkontakte: {client_id: '%dev.social.auth.vkontakte%'},
    facebook: {client_id: '%dev.social.auth.facebook%'},
    google: {client_id: '%dev.social.auth.google_client_id%', apiKey: '%dev.social.auth.google_api_key%' }
}
EOF
)

%dev.server_url% - переменная среда, как шаблон, TeamCity парсит эту строку с %property.name%

Результат будет на выходе уже в созданном конфигурационном файле export const SERVER_URL = 'http://localhost:8000/';

И в добавок ко всему этому пример конфигурации в репозитории

4
  • А export const это какой язык?
    – Nick Volynkin
    29 июн 2017 в 11:23
  • @NickVolynkin javascript
    – jashka
    29 июн 2017 в 11:23
  • Т.е. сервер CI задает переменные окружения, а JS достает их по синтаксису '%dev.server_url%' и пишет значения в файл конфигурации?
    – Nick Volynkin
    29 июн 2017 в 11:27
  • @NickVolynkin обновил ответ
    – jashka
    29 июн 2017 в 11:31

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.