Официально понятия HTTPS прокси не существует. Под этот термин могут подпадать 2 понятия:
- Вы подключаетесь к прокси используя TLS, а дальше используете HTTP метод CONNECT для соединения. Третья сторона при этом не видит ничего, кроме TLS пакетов.
- Вы подключаетесь к прокси без TLS. Третья сторона видит все HTTP заголовки: метод CONNECT, хост/порт куда вы подключаетесь, заголовки авторизации.
На разнообразных ресурсах где предоставляют списки бесплатных HTTPS прокси обычно имеют ввиду второй вариант. На счет платных прокси ничего не могу сказать.
Есть еще особые виды HTTP прокси, которые разрешают подключаться только к HTTP серверам. При этом они видят весь трафик, могут что-то кешировать у себя, изменять HTTP заголовки ваших запросов/ответов. Обычно использовались (используются?) в корпоративных сетях.
Рассмотрим детально HTTPS-прокси 2-ого вида. Хотя они и называются HTTPS, а подключаетесь вы к ним через HTTP, вы можете их использовать для любого протокола работающего поверх TCP: SSH, FTP, POP3, IMAP, SMTP и т. д. Так же вы можете подключиться к другому SOCKS/HTTP-прокси и устроить цепочку из прокси какой угодно длины. Реализация каждого конкретного прокси может различаться, возможно в ней будут белые/черные списки для хостов, или портов (это может ограничить общение по протоколам, которые висят на этих портах).
По вопросу когда происходит шифрование в HTTPS-прокси 2-ого вида. Оно происходит только тогда, когда протокол по которому вы подключаетесь переходит на шифрование. В случае если вы подключаетесь к HTTPS серверу, то TLS рукопожатие это то, из чего начинается обмен данными. Прокси сервер/ваш интернет провайдер видят те же самые TLS пакеты, которые видит ваш провайдер без использования прокси. При использовании TLS версии ниже или равной 1.2, они видят название хоста и сертификат в чистом виде. Таким образом они могут узнать какой сайт вы посещаете (даже если вы скрыли IP адрес посещаемого ресурса при помощи прокси).
Про MITM при использовании HTTPS-прокси вида 1 и 2. Прокси сервер может вам подсунуть левый SSL сертификат, и таким образом получить возможность читать и изменять весь трафик в чистом виде. Что бы этого не происходило существуют корневые сертификаты. Тут правило простое, нельзя игноривать ошибки проверки SSL сертификатов. В браузерах в последнее время процедура игнорирования ошибки SSL сертификата только усложняется, что бы создать проблемы недалеким пользователям, нажимающим "Ок, продолжить" во всех окошках.
Пример трафика подключения к прокси без авторизации. Вы подключаетесь по TCP к хост:порт прокси. Дальше согласно специцикации HTTP отправляется запрос:
CONNECT example.com:443 HTTP/1.1\r\n
Host: example.com\r\n
\r\n
Согласно правилам протокола HTTP вы ждете ответ, выглядит он так:
HTTP/1.1 200 Connection established\r\n
\r\n
В это время прокси сервер открыл TCP соединение к example.com
. Дальше всё работает предельно просто. Всё что вы отправите прокси-серверу, он пересылает на example.com
. Всё что example.com
прислал прокси-серверу, пересылается вам.
Прокси сервер ничего не подменяет (если это не злоумышленный прокси). IP не нужно нигде подменять, это обрабатывается на уровне TCP/IP пакетов. example.com
видит IP прокси сервера в заголовке TCP/IP.
Дальше вы отправляете TLS пакеты прокси, а прокси отправляет их example.com
. Всё происходит прозрачно. Если у вас есть код, который умеет делать TLS рукопожатие, вы можете передать ему сокет после HTTP ответа прокси сервера (или высокоуровневую обертку над сокетов), и нижележащий код будет работать как обычно. Код не знает, что общается через прокси. Как и example.com
не знает, что общается с вами через прокси.
Пример простейшего кода на C# с демонстрацией (он сильно упрощен, но работает с реальными HTTP-прокси):
var client = new TcpClient("прокси-сервер", 12345 /*порт*/);
var stream = client.GetStream();
// создаем HTTP запрос, конвертируем в байты, отправляем по TCP
string request =
"CONNECT ru.stackoverflow.com:443 HTTP/1.1\r\n" +
"Host: ru.stackoverflow.com\r\n" +
"\r\n";
byte[] bytes = Encoding.ASCII.GetBytes(request);
stream.Write(bytes);
// получаем ответ, конвертируем в строку
// тут нужен парсинг ответа от сервера, предположим сервер вернул 200 код
byte[] buffer = new byte[1024];
int read = stream.Read(buffer, 0, buffer.Length);
string response = Encoding.ASCII.GetString(buffer, 0, read);
Console.WriteLine("Proxy response: " + response);
// создаем TLS поверх нашего TCP соединения
var tls = new SslStream(stream);
// проходим рукопожатие, указываем хост что бы проверить сертификат
// класс SslStream "не догадывается" что он работает через прокси
// он работает в обычном режиме
tls.AuthenticateAsClient("ru.stackoverflow.com");
// создаем HTTP запрос к ru.stackoverflow.com
request =
"GET / HTTP/1.1\r\n" +
"Host: ru.stackoverflow.com\r\n" +
"Connection: Close\r\n" +
"\r\n";
bytes = Encoding.ASCII.GetBytes(request);
// отправляем его через TLS
tls.Write(bytes);
// принимаем ответ через TLS
using var reader = new StreamReader(tls);
response = reader.ReadToEnd();
Console.WriteLine(response);
Результат работы:
Proxy response: HTTP/1.1 200 Connection established
HTTP/1.1 200 OK
Connection: close
cache-control: private
content-type: text/html; charset=utf-8
strict-transport-security: max-age=15552000
x-frame-options: SAMEORIGIN
x-request-guid: 4024b045-1c35-4d53-a827-6f58f89c7c79
content-security-policy: upgrade-insecure-requests; frame-ancestors 'self' https://stackexchange.com
Accept-Ranges: bytes
Date: Wed, 20 Oct 2021 22:25:14 GMT
Via: 1.1 varnish
X-Served-By: cache-hhn4052-HHN
X-Cache: MISS
X-Cache-Hits: 0
X-Timer: S1634768715.812812,VS0,VE98
Vary: Fastly-SSL
X-DNS-Prefetch-Control: off
Set-Cookie: prov=ad256a6c-746c-ebe9-7e57-d3ba0f3e1928; domain=.stackoverflow.com; expires=Fri, 01-Jan-2055 00:00:00 GMT; path=/; HttpOnly
transfer-encoding: chunked
3f8
<!DOCTYPE html>
...
А вот пример прокси-сервера, который может работать с кодом выше. Как видно кода гораздо меньше, и тут нет никакой магии:
// слушаем порт 12345
var listener = new TcpListener(IPAddress.Any, 12345);
listener.Start();
// принимаем сокет от прокси-клиента
var socket = listener.AcceptSocket();
var clientToProxyStream = new NetworkStream(socket);
// читаем HTTP запрос от клиента
byte[] bytes = new byte[1024];
int read = clientToProxyStream.Read(bytes, 0, bytes.Length);
string request = Encoding.ASCII.GetString(bytes, 0, read);
// тут должен быть парсинг запроса
// предположим нас попросили подключится к ru.stackoverflow.com
// подключаемся к ru.stackoverflow.com
var client = new TcpClient("ru.stackoverflow.com", 443);
var proxyToStackoverflowStream = client.GetStream();
// отправляем HTTP ответ обратно клиенту
string response = "HTTP/1.1 200 Connection established\r\n\r\n";
bytes = Encoding.ASCII.GetBytes(response);
clientToProxyStream.Write(bytes);
// перенаправляем все данные между потоками
// всё что пришло в clientToProxyStream отправляем в proxyToStackoverflowStream
// всё что пришло в proxyToStackoverflowStream отправляем в clientToProxyStream
var task1 = clientToProxyStream.CopyToAsync(proxyToStackoverflowStream);
var task2 = proxyToStackoverflowStream.CopyToAsync(clientToProxyStream);
// ждем пока задачи копирования завершатся, тоесть закрытия соединения
await Task.WhenAll(task1, task2);