27

Расскажите, кто и как решает проблему хранения конфигурационных файлов в git?

Полностью исключать их нельзя, так как проект может не собраться и/или не запуститься. В тоже время в таких файлах, как правило, хранится частная информация (данные для авторизации на внешних сервисах и т.д.).

Сейчас я размещаю в git файлы с расширением .sample (например Web.config.sample или config.yml.sample) и пишу в документации, что перед тем как запустить проект, необходимо переименовать sample-файл и заполнить его правильными значениями. Сами конфигурационные файлы я добавляю в .gitignore.

Недостатки такого подхода:

  • необходимо постоянно синхронизировать sample-файл c оригинальным конфигурационным файлом (добавились/изменились/удалились опции),
  • другим пользователям нужно сделать дополнительное действие (переименовать файл), что они могут забывать делать (кто же читает документацию?)

Возможно существуют и более удачные решения. Можно ли c git придумать что-то более удобное?

4
  • В гите есть hooks git-scm.com/book/en/v2/Customizing-Git-Git-Hooks Смысл в том, что на все git действия можно повесить выполнение своих скриптов. Смотреть в папке .git/hooks
    – novus42
    13 апр 2015 в 12:53
  • Это лучший подход.
    – Alex78191
    22 июн 2017 в 4:18
  • Самое простое, организовать другой репозиторий, чистый, для деплоя. И заполнять его хуком с первого, на котором полный набор файлов, файлы копировать по списку, тогда ничего лишнего не будет. И дефаулт конфигурации в него можно положить, они вам мешать не будут.
    – NewView
    29 авг 2018 в 17:00

7 ответов 7

19
+50

К сожалению, все так. В систему контроля версий не должны попадать конфигурационные файлы, которые не запустятся на других хостах, поэтому, как правило, ПО распространяется без реальных конфигов, и в консольные команды добавляется команда начальной конфигурации, которые могут сформировать этот файл.

Добавление обязательных конфигурационных опций на ходу - плохая идея, по крайней мере между major-версиями. Они должны иметь свое значение по умолчанию, при котором приложение продолжает вести себя так же, как и раньше. Все эти -webkit-something-tralala в CSS появились ровно оттуда же - давайте добавим эту штуку, но не будем ее пихать как готовую опцию, когда будем готовы к внедрению - внедрим, чтобы она точно не переименовывалась и не менялась потом (конкретно в CSS имена задаются стандартом, но общая идея должна быть ясна).

Впрочем, один хак я для себя нашел - весь dev-env засовывается в вагрант, где можно свободно писать любые конфиги и менять их на ходу, в результате в команде разработчиков можно свободно играться с тестовой конфигурацией.

Еще одна штука, которая помогает - это "параллельные" файлы, в которых переопределяются значения: configuration.yml содержит в себе некоторую конфигурацию, а configuration.local.yml - всего пару опций, который "берут верх" над аналогичными опциями из configuration.yml.

5
  • А можно поподробнее про vagrant? Если, использовать "параллельные" файлы, то необходимо изменить код приложения, "научив" его читать эти файлы и правильно обрабатывать. Возможно, где-то это и применимо, но, увы, не в моём случае.
    – avb
    13 апр 2015 в 12:36
  • 3
    @avb, vagrant - это программа для автоматизированного создания и запуска виртуальных машин (в основном для обслуживания потребностей разработки). Таким образом можно создать виртуальную машину, которая будет одинакова у всех разработчиков. vagrantup.com
    – etki
    13 апр 2015 в 12:42
  • Отличный ответ, идея с параллельными файлами выглядит очень удобной.
    – Nick Volynkin
    22 июн 2017 в 3:45
  • Похоже делается у PHPUnit: есть файл общий phpunit.xml.dist и частный phpunit.xml
    – sanmai
    22 июн 2017 в 4:05
  • 1
    В ant можно реализовать "параллельные" файлы конфигурации в build.xml через <property file="build.local.properties" /><property file="build.properties" />. Здесь значения из файла build.local.properties перекроют значения из build.properties. Файл build.local.properties может и не существовать и он не должен храниться в репозиторий. У нас ant запускается из provision скрипта в vagrant и на удалённом сервере при деплое 4 июл 2017 в 9:36
14
+100

На эту тему высказались авторы манифеста 12 factors.

Вот что они пишут о конфигурации:

Лакмусовой бумажкой того, правильно ли разделены конфигурация и код приложения, является факт того, что кодовая база приложения может быть в любой момент открыта в свободный доступ без компрометации каких-либо приватных данных.

Далее:

Другим подходом к конфигурации является использование конфигурационных файлов, которые не сохраняются в систему контроля версий, например, config/database.yml в Rails. Это огромное улучшение перед использованием констант, которые сохраняются в коде, но по-прежнему и у этого метода есть недостатки: легко по ошибке сохранить конфигурационный файл в репозиторий; существует тенденция, когда конфигурационные файлы разбросаны в разных местах и в разных форматах, из за этого становится трудно просматривать и управлять всеми настройками в одном месте.

Это как раз способ, который описан в вопросе. Авторы манифеста предлагают такое решение:

Приложение двенадцати факторов хранит конфигурацию в переменных окружения (часто сокращается до env vars или env). Переменные окружения легко изменить между развёртываниями, не изменяя код; в отличие от файлов конфигурации, менее вероятно случайно сохранить их в репозиторий кода; и в отличие от пользовательских конфигурационных файлов или других механизмов конфигурации, таких как Java System Properties, они являются независимым от языка и операционной системы стандартом.

Естественно, всё это применимо в основном к веб-приложениям. Для десктопных и мобильных приложений эти правила уже не подходят.

От себя добавлю, что Azure-приложения ASP.NET и ASP.NET WebAPI сейчас настраиваются именно так: в панели приложения на вкладке Application settings можно указать переменные окружения. Тоже самое в Heroku.

Пример

В нашем проекте требуется рассылать электронные письма и СМС. Естественно, на локальных контурах разработчиков и на общем контуре разработки ничего рассылать не надо, но при этом нужен доступ к содержимому уведомлений. То есть разработчики должны видеть, что служба уведомлений сработала, и видеть, что именно будет отправлено клиенту на боевом контуре.

Поскольку мы используем внедрение зависимостей, мы сделали несколько реализаций классов, рассылающих уведомления. Продуктовая реализация осуществляет отправку писем, а реализация разработчиков пишет уведомления в файл. В качестве библиотеки IoC мы используем Autofac, который позволяет регистрировать зависимости в конфигурационном файле, так что в нашем Web.config была зарегистрирована служба уведомлений для разработчиков.

MSBuild умеет трансформировать конфигурационные файлы ASP.NET проектов во время развёртывания. Если в вашей папке находятся файлы Web.config и Web.Release.config, при развёртывании проекта в конфигурации Release MSBuild применит трансформации из Web.Release.config к Web.config. Можно менять атрибуты разделов, добавлять и удалять подразделы. Мы у себя меняли регистрируемый класс, так что на контуре Release запускалась реальная служба уведомлений вместо отладочной.

Тогда нас такое решение устроило.

Некоторое время всё работало хорошо, но потом вышла 4-я версия Autofac, которая стала совместима с новой системой конфигурирования .NET. При этом разработчики Autofac выпилили поддержку старого способа, то есть старых добрых Web.config и App.config. При этом MSBuild не умеет автоматически трансформировать новые файлы конфигурации.

Пришлось переделать схему. Теперь для каждого контура мы стали хранить свою версию конфигурации IoC в файлах IoC.Dev.json, IoC.Stage.json, IoC.Release.json. Загрузка нужного файла конфигурации стала осуществляться так:

Startup.cs

var configName = Environment.GetEnvironmentVariable("APPSETTING_CONFIG_NAME") ?? "Dev";
var config = new ConfigurationBuilder().AddJsonFile($"IoC.{configName}.json", optional: true, reloadOnChange: true);
var module = new ConfigurationModule(config.Build());
builder.RegisterModule(module);

Это было стихийное решение, которое мы обнаружили в Google и смогли применить к нашему Azure-проекту. Однако это ещё не идеал с точки зрения 12-тифактороного приложения. Часть настройки действительно вынесена в переменную окружения, но часть находится в файлах IoC.*.json.

Что не так? Администратор системы может решить, что файлы IoC.Dev.json, IoC.Stage.json, IoC.Release.json можно спокойно менять, хотя на самом деле мы довольно суровы относительно них. Нам не нужна здесь универсальность и гибкость, мы бы хотели ограничить настройку двумя вариантами: а) шлём уведомления; б) складываем уведомления в секретное место.

Так что мы можем захардкодить эти две стратегии и при старте приложения выбирать ту из них, которая указана в переменной окружения:

var notifyStrategy = Environment.GetEnvironmentVariable("APPSETTING_NOTIFY_STRATEGY");
switch (notifyStrategy)
{
case "send":
    builder.RegisterType<ReadNotifier>().As<INotifier>();
    break;

case "save":
    builder.RegisterType<FakeNotifier>().As<INotifier>();
    break;

default:
    throw new ArgumentException("Ну всё теперь.", nameof(notifyStrategy));
}

Теперь администратор приложения может конфигурировать его на своём уровне погружения. Он не сломает ничего важного в дебрях XML/JSON IoC. В результате нам удалось полностью избавиться от файлов конфигурации на этом уровне и стать ближе к идеалам 12-тифакторных приложений.

Исходя из этого, я бы советовал:

  1. Все секретные настройки, включая строки подключения к базам данных, логины и пароли для отправки писем и прочее, брать из переменных окружения. Развёртывание приложения свести к запуску одной команды (для .NET это MSBuild). Переменные окружения и процесс развёртывания описать в README.md.

  2. Внедрение зависимостей реализовывать непосредственно в коде, предоставляя несколько стратегий, которыми будет управлять администратор. Он скажет вам спасибо, если ему не придётся изучать детали приложения, и он сможет одной настройкой внедрить совершенно другой набор из трёх-пяти-десяти типов, не разбираясь в их взаимосвязях.

  3. Некоторые конфигурационные файлы на самом деле представляют из себя декларативную часть кода и не требуют изменения после развёртывания. Детали зависит от языка, думаю, что чаще это встречается в интерпретируемых языках. Такие файлы мы не должны считать истинно конфигурационными и можем оставить их в проекте как есть.

  4. Конфигурацию, которую может менять администратор и которая может сохраняться между развёртываниями, вынести в БД. Можно и в файл, но в этом случае он может быть уничтожен при неаккуратном развёртывании. Значения в базе или в файле, если их нет при первом запуске системы, прописываются стандартные из кода.

0
9

Я стараюсь делать следующим образом. Сначала программа пытается использовать конфигурацию, специализированную для текущего хоста, из файла config-hostname.xml. Вся чувствительная информация хранится в нём, и в git он не попадает благодаря игнорированию по маске config-*.xml. Если же специализированная конфигурация отсутствует, то используется дефолтная из файла config.xml, который сохраняется в репозитории. По истории изменений этого файла очень удобно отслеживать, когда появились те или иные фичи. Часто удобнее, чем искать по сhangelog'у.

В тех случаях, когда некоему параметру невозможно придумать осмысленное значение по умолчанию, но в то же время и убирать его совсем из дефолтной конфигурации не хочется (должно быть понятно, что он вообще есть), я прописываю ему какое-нибудь заведомо невалидное специальное значение (-1 или строку "must be customized"). Программа при работе с таким параметром понимает это значение, выдаёт соответствующую диагностику и выходит.

6

Я именно храню sample-версии конфиг-файлов. Чисто для того, чтобы почитать пример, как это может выглядеть. Настоящие конфиги собираются при помощи ansible.

Именно он и подставляет критичную информацию типа паролей.

Выгоды налицо: централизованное описание и хранение конфигураций, все файлы промаркированы.

В ряде случаев для упрощения жизни пользуюсь следующим трюком: пароли dev-конфигураций представляют собой md5 от паролей на production.

Как-то так:

[mysql]
host     = "{{ databases_mysql[0].dbhost }}"
dbname   = "{{ databases_mysql[0].dbname }}"
user     = "{{ db_users_mysql[0].name }}"
password = "{{ mask_pwd | ternary(db_users_mysql[0].password|hash("md5"),db_users_mysql[0].password) }}"

, где mask_pwd - логическая переменная, маскировать или нет пароль (устанавливается в зависимости от вида окружения).

1
  • Кстати, непонятно, откуда же берутся и где хранятся критичные данные, подставляемые в шаблоны. Может быть, вы приведете пример или более подробное объяснение? (Возможно, отдельным вопрос-ответом)? С меня награда репутацией. )
    – Nick Volynkin
    29 июн 2017 в 6:23
2

Я храню дефолтную конфигурацию в файле .env в корне проекта.

ENV_database_host=127.0.0.1

Этот файл - один и тот же для всех разработчиков, он попадает в git-репозиторий. Файл загружается при запуске docker-compose up -d и значения попадают в контейнер через блок environment в описании сервиса docker

services:
    php:
        environment:
            ENV_database_host: "${ENV_database_host}"

Затем это значение загружается в параметры приложения на Symfony в файле parameters.yml

parameters:
    database_host: "%env(ENV_database_host)%"

И уже параметр database_host используется в сервисах DI контейнера Symfony "как обычно"

На удалённом сервере значения из файла .env должны быть перекрыты другими. Для этого в настройках Pipeline CI\CD в репозитории GitLab создаются переменные для каждого из окружений со своим суффиксом. Например ENV_database_host_MASTER для staging и ENV_database_host_PRODUCTION для production.

Чтобы на удалённый сервер попала правильная конфигурация, значения переменных⁠-⁠с⁠-⁠суффиксом переносятся в переменные без суффикса, файл docker-compose.yml компилируется с уже перекрытыми значениями и результат копируется на сервер

docker-compose -f docker-compose-deploy.yml config > build/docker-compose.yml
1

Все описанное ниже относится к spring приложению, первый пункт можно отнести и к другим технологиям, если возможно подстановка данных из переменных среды.

  • Есть множество способов задания конфигурации настроек. Но действительно есть определенные чувствительные данные(пароли, credentials и т.д.), которые нельзя хранить в открытом доступе. В этом случае можно использовать вариант хранения скелета настроек в property файлов в git`е, но с подстановками из enviroment переменных. В этом случае чувствительные данные будут прописываться в OC.
  • У первого пункта есть один существенный недостаток - синхронизация таких данных между различными серверами. Данная ситуация может возникнуть при микросервисной и SOA архитектурах(одно или несколько приложений используют одни credentials). На этот случай есть spring cloud vault, который позволяет ограничить доступ к таким данным через авторизацию приложений. Официальное описание проекта.

    Spring Cloud Vault Config provides client-side support for externalized configuration in a distributed system. With HashiCorp’s Vault you have a central place to manage external secret properties for applications across all environments. Vault can manage static and dynamic secrets such as username/password for remote applications/resources and provide credentials for external services such as MySQL, PostgreSQL, Apache Cassandra, MongoDB, Consul, AWS and more.

1

Как способ, наверно, решить эту проблему использование систем непрерывной интеграции которые сами будут тебе создавать конфигурацию с переменной среды.
Переменная среды устанавливается в самой системе непрерывной интеграции.
TeamCity так может, в других CI думаю присутствует такая возможность. Так же там есть возможность добавлять кроме переменных сред еще и параметры, системные свойства что очень удобно.
Ко всему этому удобностью является написание скриптов сборки.
Пример генерации конфигурации на примере js файла

file=$(cat <<EOF 
export const SERVER_URL = '%dev.server_url%';
export const PREFIX = '%dev.api_prefix%';
export const API_URL = '%dev.api_url%';
export const imgPath = '%dev.server_url%';
export const DefaultLanguage = '%dev.default_lang%';
export const GoogleMapsKey = '%dev.google_maps_key%';
export const ConfigAuth = {
    vkontakte: {client_id: '%dev.social.auth.vkontakte%'},
    facebook: {client_id: '%dev.social.auth.facebook%'},
    google: {client_id: '%dev.social.auth.google_client_id%', apiKey: '%dev.social.auth.google_api_key%' }
}
EOF
)

%dev.server_url% - переменная среда, как шаблон, TeamCity парсит эту строку с %property.name%

Результат будет на выходе уже в созданном конфигурационном файле export const SERVER_URL = 'http://localhost:8000/';

И в добавок ко всему этому пример конфигурации в репозитории

4
  • А export const это какой язык?
    – Nick Volynkin
    29 июн 2017 в 11:23
  • @NickVolynkin javascript
    – jashka
    29 июн 2017 в 11:23
  • Т.е. сервер CI задает переменные окружения, а JS достает их по синтаксису '%dev.server_url%' и пишет значения в файл конфигурации?
    – Nick Volynkin
    29 июн 2017 в 11:27
  • @NickVolynkin обновил ответ
    – jashka
    29 июн 2017 в 11:31

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.