6

У меня есть сервер, написанный на базе HttpListener. Код инициализации сервера:

private static HashSet<string> GetAllHosts()
{
  HashSet<string> hosts = new HashSet<string>();

  hosts.Add(IPAddress.Loopback.ToString());

  foreach (var addr in Dns.GetHostAddresses(Dns.GetHostName()))
    hosts.Add(addr.ToString());

  foreach (var site in Settings.Default.Sites)
    hosts.Add(site);

  return hosts;
}

// ...

HttpListener listener = new HttpListener();

foreach (var addr in GetAllHosts())
  listener.Prefixes.Add(string.Format("https://{0}:14488/", addr));

При использовании протокола http всё работает. Я пытаюсь сделать в сервере поддержку протокола https, руководствуясь, например, этой инструкцией, параллельно анализируя предлагаемые команды с использованием документации, чтобы лучше понимать, что там рекомендуют. Но что бы я ни делал, в браузере я получаю ошибку при установке защищённого соединения, а в клиентском приложении - ошибку System.Net.WebException: The underlying connection was closed: The connection was closed unexpectedly. Те же самые ошибки я получаю, если вообще ничего не делаю для установки сертификатов.

Есть, конечно, простой путь: использовать симметричное шифрование с закрытым ключом, помещённым в интерфейсной сборке моих сервисов, поверх протокола TCP. Но это будет закрытое решение, что плохо годится для научного сервиса.

Однако когда нужно вбить несколько команд в консоль, и только после этого я могу увидеть результат (пока что отрицательный) - это абсолютно тупиковый, не отлаживаемый путь. Мне нужно как-то контролировать корректность происходящего на каждом шаге.

Мои шаги:

  1. Создание корневого центра сертификации:

    makecert -n "CN=AgrophysicalInstitute" -r -sv ARI.pvk ARI.cer
    

Насколько я понимаю, данная команда создаёт самоподписанный (-r) сертификат с именем AgrophysicalInstitute и рядом с ним файл ARI.pvk, в котором хранится секретная информация, нужная для подписывания других сертификатов этим сертификатом. При создании этого файла Windows предлагает придумать пароль, а потом ещё его запрашивает. Командная строка Windows пишет: succeeded.

  1. Создание сертификата, которым я буду подписывать сервер.

    makecert -sk APEX -iv ARI.pvk -n "CN=APEX Server" -ic ARI.cer -sr LocalMachine -ss My APEX.Server.cer
    

Что такое -sk, из документации не понятно, какой-то Subject Key. Очевидно, что опциями -iv и -ic я указываю корневой сертификат, которым буду подписывать сертификат для моего сервера, с секретным ключом, опцией -n - имя моего сертификата для сервера, опциями -sr и -ss - где я его буду хранить (Сертификаты (локальный компьютер)/Личные). Не совсем понятно так же, зачем указывать две последние опции, если от этого сертификат в хранилище сертификатов не появляется, но при этом импортировать в хранилище можно и без этого. Командная строка Windows опять пишет: succeeded.

  1. В программе mmc в узле "Сертификаты (локальный компьютер)/Доверенные корневые центры сертификации" выбираю пункт меню "Импорт" и импортирую сертификат ARI.cer. Затем в узел "Сертификаты (локальный компьютер)/Личные" так же импортирую сертификат APEX.Server.cer. Опять всё импортируется, но при этом поля "Назначение" и "Имя" у импортированных сертификатов не отображаются (возможно, в этом и проблема).

  2. Привязка созданного и импортированного сертификата к порту (Windows XP):

    httpcfg set ssl -i 0.0.0.0:14488 -h c33c2844fccff756fb0810d586d16ca00072e364
    

где c33c2844fccff756fb0810d586d16ca00072e364 - это то, что в программе mmc можно посмотреть в графе "Отпечаток", сделав двойной клик на импортированный в папку "Личные" сертификат APEX Server. Утилита завершается с кодом 0, т.е. успешно. Я пробовал добавлять к поcледней команде -g {39e1e6db-d351-411a-83e4-b84e1144afad}, где указываю Guid из атрибута [assembly:Guid] в файле AssemblyInfo.cs, но единственное, на что это влияет - это вывод команды httpcfg query ssl. Без него он показывает пустой Guid, с ним - указанный. А запросы как не доходили до сервера, так и не доходят. Не влияет на это и значение атрибута [assembly:ComVisible] из файла AssemblyInfo.cs.

Больше всего настораживает то, что, похоже, утилита httpcfg никак не проверяет входные данные - если произвольно заменить символы в значении параметра -h, передав ей таким образом заведомо неправильный отпечаток, она так же отрабатывает успешно, и сервер, естественно, по-прежнему не работает. В сочетании с тем, что программа mmc не даёт скопировать отпечаток ни через контекстное меню, ни горячей клавишей, это становится ещё одним источником ошибок, которые никак не возможно отловить. Приходится всё глазами перепроверять. Но вроде бы у меня чисто визуально всё совпадает. Для более новых версий Windows Microsoft рекомендуют использовать netsh, возможно, там это поправили.

Как понять, что я делаю не так? Данная последовательность действий слишком сложна, чтобы однозначно идентифицировать ошибку. Ещё больше всё усложняет то, что я не могу запустить Windows в отладчике, чтобы пройти по шагам. Более того, мне очень не нравится, что всё это делается в командной строке, а не через API. Выходит, что часть бремени настройки программы ложится на конечного пользователя, от которого я бы не хотел требовать большего, чем просто выбрать файл сертификата, подписанного в центре сертификации. Если уж мне не под силу эта задача, разве с ней может справиться пользователь? И проверить, что сертификат правильный, тоже, по идее, должна моя программа и сразу понятно сказать, что с ним не так, а не когда постфактум пользователь обнаруживает, что сервер не работает.

15
  • Чисто из интереса, почему HttpListener?
    – tym32167
    10 июн 2020 в 14:26
  • 1
    Потому что это простой класс, который не делает ничего лишнего. Когда-то я пользовался WCF, это была сплошная война с её архитектурой, враждебной к разработчику. И с сертификатами, помнится, тоже было много возни, т.е. то, что сложно, она всё равно не автоматизирует. А сам по себе удалённый вызов процедур проще самому написать, чем постоянно нарываться на проблемы, которые искусственно генерирует WCF.
    – Modus
    10 июн 2020 в 15:11
  • 2
    у вас же http, почему не выбрать тогда asp.net core например? Он даже с готовым сервером идет. И с командной строки запускается. Мне кажется, для http запросов это самое оно.
    – tym32167
    10 июн 2020 в 15:13
  • 2
    Я использую HTTPS через nginx веб-сервер, и просто проксирую все запросы в '/api/` на серверное приложение. Само серверное прилодение ничего не знает про HTTPS. Сертификаты прикручены к веб-серверу, сгенерены бесплатно с помощью certbot от Let's Encrypt. Это не отвечает на ваш вопрос, но можете рассмотреть вариант с проксированием через nginx или Apache. Но у меня сервер на базе Linux, не знаю, может вам и не подходит такой сценарий.
    – aepot
    12 июн 2020 в 14:38
  • 1
    А момент с включением сертификатов для уровня протокола пробовали при httpcfg команде? ссылка 13 июн 2020 в 8:23

2 ответа 2

6
+500

Вот как у меня получилось сделать следующий код рабочим и отдающим правильный сертификат:

class Program
{
    static int requestX = 0;
    static HttpListener staticHttpListener;

    static void Main(string[] args)
    {
        HttpListener listener = new HttpListener();
        listener.Prefixes.Add("https://company.ru:14488/");
        listener.Start();
        Console.WriteLine("Listening...");

        staticHttpListener = listener;
        listener.GetContextAsync().ContinueWith(processGetContextResult);

        shutdownRequest.WaitOne();
        listener.Stop();
    }

    static void processGetContextResult(Task<HttpListenerContext> task)
    {
        HttpListenerContext context = (HttpListenerContext)task.Result;
        HttpListenerRequest request = context.Request;
        HttpListenerResponse response = context.Response;
        staticHttpListener.GetContextAsync().ContinueWith(processGetContextResult);
        processRequest(request, response);
    }

    static System.Threading.AutoResetEvent shutdownRequest = new System.Threading.AutoResetEvent(false);

    static void processRequest(HttpListenerRequest request, HttpListenerResponse response)
    {
        Console.WriteLine("Request arrived");
        if (request.Url.PathAndQuery == "/shutdown")
        {
            shutdownRequest.Set();
            return;
        }

        simulatedDatabaseRequest().ContinueWith((Task<int> task) =>
        {
            int dbQueryResult = (int)task.Result;
            string responseString = "<HTML><BODY> Hello world! Request #" + dbQueryResult + "";
            byte[] buffer = System.Text.Encoding.UTF8.GetBytes(responseString);
            response.ContentLength64 = buffer.Length;
            System.IO.Stream output = response.OutputStream;
            output.Write(buffer, 0, buffer.Length);
            output.Close();
        });
    }

    static Task<int> simulatedDatabaseRequest()
    {
        return Task.Delay(3000).ContinueWith((Task task) =>
        {
            return ++requestX;
        });
    }
}
  1. Я создал сертификаты, используя PowerShell:
$date = Get-Date
$extended_date = $date.AddYears(3)
$rootCert = New-SelfSignedCertificate -certstorelocation cert:\localmachine\my -dnsname "company.ru" -notafter $extended_date -KeyExportPolicy Exportable -KeyUsage CertSign

$rootPwd = ConvertTo-SecureString -String 'root' -Force -AsPlainText
$rootCertPath = 'cert:\localMachine\my\' + $rootCert.thumbprint
Export-PfxCertificate -cert $rootCertPath -FilePath c:\tools\root.pfx -Password $rootPwd

$childCert = New-SelfSignedCertificate -certstorelocation cert:\localmachine\my -dnsname "Child Certificate" -Signer $rootCert -KeyExportPolicy Exportable
$childCertPath = 'cert:\localMachine\my\' + $childCert.thumbprint
$childPwd = ConvertTo-SecureString -String "child" -Force -AsPlainText

Export-PfxCertificate -cert $childCertPath -FilePath C:\Tools\child.pfx -Password $childPwd
  1. Импортировал сертификаты в Local Machine (Manage Computer Certificates) - root.pfx в Trusted Root Certification Authorities, а child.crt - в Personal

  2. Через консоль администратора добавил привязку:

    netsh http add sslcert ipport=0.0.0.0:14488 certhash=2a6926e41bc4f3568233bebc13f116de97cf7794certstorename=Root appid={8fbacae2-bd4e-8ef5-b202-1561845dd04f}

Где certhash - это thumbprint серверного сертификата (root), appid - GUID приложения в AssemblyInfo.cs

  1. В /drivers/etc/hosts добавил строку:
    127.0.0.1 company.ru
  1. Запустил скомпилированную программму под администратором так как иначе доступ к привязке listener.Prefixes.Add будет кидать исключение

  2. В браузере открыл окно с этим адресом:

Сертификат

  1. Выбрал сертификат для проверки:

Проверочный

  1. И проверил значок замка:

Значок

HowTo: Create Self-Signed Certificates with PowerShell

Важные моменты

  • STORENAME для netsh через httpcfg делается через -c параметр и нужно поставить на Root, так как по умолчанию оно ставится как MY

Вопросы

  1. Я пробовал их соединить, но не настолько хорош чтобы это достичь т.к. выскакивала ошибка
  2. Это путь по умолчанию куда сертификат будет помещен автоматически, зотя вручную через ММС его можно поместить куда угодно, и по сути не влияет. Я пробовал localmachine/root, но код падал с ошибкой запрета
  3. dnsname, исходя из документации задает альтернативное имя сертификата, именно по нему для серверного сертификата и проверяется доменно имя
  4. Поправил
  5. Достаточно, не нужно COM
  6. Поправил

Дополнения

Похоже вы были всего в одном шаге от нужного результата - необходимо еще экспортировать ваш PVK файл в PFX, который затем импортировать в Trusted Root Certification Authorities через:

pvk2pfx.exe -pvk ARI.pvk -spc ARI.cer -pfx ARI.pfx

После этого шага я смог использовать makecert из вашего примера и успешно использовать его отпечаток для добавления с netsh.

8
  • К сожалению, мой PowerShell не понимает этих команд. Я так понимаю, во второй версии, которая у меня, их ещё не было. Но глядя на Ваши примеры, правильно ли я понимаю, что основная ошибка у меня была в том, что я не учитывал DNS и работал только с IP-адресами?
    – Modus
    13 июн 2020 в 19:01
  • Не совсем, можно и с IP работать, только при проверке сертификата будет выдаваться что сайт не защищён так как в сертификате он ставится на домен или wildcard домен, и это применимо для обоих сертификатов. Я не уверен как проверяются сертификаты с IP адресом и вообще возможно ли это. Когда названия домена в сертификате (dnsname) и в DNS не совпадало, то получалась ошибка проверки сертификата. 13 июн 2020 в 19:54
  • Подозреваю что ваша главная проблема была в 0.0.0.0 вместо Loopback или локального IP адреса раз, как вы говорите, ничего не происходило. Когда я отлаживал код то тоже ничего не мог запустить на 127.0.0.1/0.0.0.0 адресах, и поймать входящие запросы только после настройки в ответе. Попробуйте удалить привязку на 0.0.0.0 и добавьте один с доменным именем как в ответе. 13 июн 2020 в 20:03
  • А на дополнительный случай можно воспользоваться библиотекой вроде этой 13 июн 2020 в 20:10
  • У меня в PowerShell netsh http тоже нет. Вторая версия годится только чтобы отпечаток скопировать. А httpcfg работает только с IP-адресами. Можно как-нибудь Windows XP обновить до версии Windows, которая поддерживает более новый PowerShell так, чтобы после этого не переустанавливать около сотни программ?
    – Modus
    13 июн 2020 в 20:32
5

Про HTTPS

ИМХО, использовать HTTPS от неизвестно кого (даже от Майкрософт ;) )- это верный способ наступить на какие-нибудь грабли с последующими проблемами. Я не настаиваю, просто высказываю своё мнение, сформировавшееся в проектах по тестированию реализаций TLS от самых разных разработчиков. Мы столько дыр нашли, что я потерял веру в разумность человечества ))

Помимо неоднозначной безопасности есть масса чисто практических вопросов. TLS в своих реализациях разработчики подключают изобретательно. С огоньком. Бывает, хрен найдёшь концы, за которые нужно тянуть, чтобы очередная шайтан-арба взлетела.

По этим двум причинам я зарёкся включать HTTPS и придумал обходной путь, который работает всегда. С любым языком и любой реализацией HTTP-сервера. Работает даже с легаси серверами, в которых HTTPS отродясь не было.

Решение называется NGINX reverse proxy.

Выглядит это так.

  1. Запускаете ваш HTTP (без S) сервер в локальной сети. Пусть для определенности это будет 192.168.100.101:8080

  2. На машине, которая доступна для клиентов, поднимаете nginx и конфигурируете в нём proxy для вашего локального сервера.

server {
        listen 443 ssl;

        server_name yourserver.yourdomain;
        location / {
                proxy_pass http://192.168.100.101:8080;
                proxy_set_header Host $host;
        }

    ssl_certificate /path/to/site.crt; 
    ssl_certificate_key /path/to/site.pem; 
}
  1. Прописываете в DNS запись yourserver.yourdomain, указывающую на машину, где поднят Nginx.

Профит. Теперь по адресу yourserver.yourdomain:443 по протоколу HTTPS вещает ваш http-сервер.

Работает изумительно! Оверхед практически нулевой даже под большой нагрузкой, надежность не вызывает сомнений, и есть отличные дополнительные плюшки - переадресация с HTTP на HTTPS, ограничение числа подключений, балансировка с health checks и всё такое.

Ещё важный бонус - сертификаты LetsEncrypt. С nginx умеет работать certbot, который для вас получит бесплатный сертификат на yourserver.yourdomain и - что ещё важнее - будет его вовремя обновлять. Поставил и забыл. А оно работает.

Поэтому я вам рекомендую не связываться с родной поддержкой HTTPS, маета это. Nginx несравненно удобнее.

Про сертификаты

Я большую часть жизни провёл в Юниксах, поэтому про виндовые утилиты работы с сертификатами ничего сказать не могу. Зато могу предложить openssl. Это кошерно и православно ))

Создание своего удостоверяющего центра

openssl req -x509 -newkey rsa:4096 -keyout ca-key.pem -out ca-cert.crt -days 10000 -subj '/CN=AgrophysicalInstitute/' -passout pass:1234

В результате будут сгенерированы:

  1. Сертификат удостоверяющего центра в файле ca-cert.crt. Клиентам нужно будет установить его в хранилище доверенных корневых сертификатов. Срок действия сертификата - 10000 дней. После истечения этого срока новые сертификаты подписывать будет нельзя. Поле 'CN' будет установлено равным AgrophysicalInstitute

  2. Приватный ключ удостоверяющего центра в файле ca-key.pem. Ключ зашифрован, пароль 1234.

Создание сертификата для youserver.yourdomain

Чтобы создать ключ без пароля, воспользуемся командой openssl genrsa:

openssl genrsa -out site.key 2048

В файле site.key будет лежать приватный RSA ключ длиной 2048 бит.

Затем сгенерируем запрос на сертификат:

openssl req -new -key site.key -subj "/CN=yourserver.yourdomain" -out site.csr

В файле site.csr будет лежать запрос на создание сертификата для сайта yourserver.yourdomain

И теперь получим сертификат:

openssl x509 -req -in site.csr -CA ca-cert.crt -CAkey ca-key.pem -CAcreateserial -out site.crt -days 365 -passin pass:1234

Время действия сертификата 365 дней. Дабы не вводить пароль от приватного ключа удостоверяющего центра я указал его прямо в командной строке.

Сертификат будет лежать в файле site.crt

Скопируйте ключ site.pem и сертификат site.crt в те пути, которые указаны в настроечном файле nginx в опциях ssl_certificate и ssl_certificate_key.

Теперь ваш nginx будет отдавать содержимое вашего сайта, оборачивая его в HTTPS, и аутентифицируясь вашим сертификатом.

P.S. На вашем месте я бы стребовал с заказчика сертификат. Пусть покупают или делают бесплатный от LetsEncrypt.

Создание корневого центра сертификации:

это, прошу прощения, порнография. Это создаст в будущем такие траблы клиентам с подключением к сервисам этого "AgrophysicalInstitute", что я заранее предчувствую весь тот вал матюгов, которые обрушат счастливые клиенты на головы изобретательных разработчиков.

Личный опыт

Прямо сейчас под nginx у меня работает зоопарк: 2 сервера, написанные пакистанскими индусами на nodejs, JSON-RPC сервер, написанный на Go, REST-JSON сервер, тоже на Go, и связка фронтэнд (nodejs - пакистанцы) и бэкэнд (Go). Go написаны много кем, допилены мной.

Плюс у меня есть несколько статических страниц с инструкцией для клиентов и установочными файлами.

В теории все серверы все умеют https, но на практике я попытался (из любопытства) включить HTTPS, прогулялся по граблям и выключил нафиг. Поднял обратную прокси на Nginx и доволен как слон. Внутри весь трафик ходит по HTTP, а внешний только по HTTPS.

Помимо преобразования HTTP<->HTTPS Nginx дает массу преимуществ.

  1. Физически зоопарк раскидан по нескольким машинам в локальной сети, nginx поднят на гейте и предоставляет единую точку входа.
  2. Nginx раздаёт статический контент.
  3. Go-шные сервера не умели включать CORS заголовки. Вместо них заголовок Access-Control-Allow-Origin вставляет nginx.
  4. certbot получил для меня бесплатные сертификаты и автоматически их обновляет. Шесть сертификатов одним движением руки - это просто прекрасно! ))
  5. Для всех серверов внешние HTTP запросы автоматически перенаправляются на HTTPS адреса.
2
  • Этот способ хорош тем, что можно использовать протоколы и наборы шифров, даже если они не поддерживаются ОС (например TLS 1.2 в WinXP). Но он не эквивалентен прямой работе с HttpListener, так как Nginx занимает порт монопольно, а HttpListener умеет использовать механизм совместного использования портов http.sys под виндой. Кроме того, вы сами себе противоречите, зареклись использовать "непонятно чью реализацию HTTPS" из-за уязвимостей, а дальше говорите использовать реализацию HTTPS из Nginx (OpenSSL), которая как раз была известна долго не исправляемыми уязвимостями. 15 июн 2020 в 5:52
  • @MSDN.WhiteKnight, вас не затруднит назвать "долго неисправляемую уязвимость"? Что же касается монопольного владения портом, то мне не кажется это большой проблемой, так как в продакшене nginx работает на гейте, а сервера на отдельных машинах в локальной сети и/или внутри виртуалок. С другой стороны, nginx позволяет использовать один порт для множества виртуальных серверов (SNI) совершенно разной природы, что лично для меня очень важно.
    – Pak Uula
    15 июн 2020 в 7:24

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.