6

Приобрёл http прокси и увидел что логин/пароль от ip proxy передается в чистом виде. В техподдержке сказали что они работают только с http.

Когда я подключаюсь к сайту, я вижу сначала подключение по http с прокси, а потом идут TLS пакеты.

Основной вопрос: как передаётся трафик при разных видах прокси соединения? На каких этапах происходит шифрование и дешифрование при разных протоколах?


Пытался разобраться сам, но на сайтах информация разница: одни пишут что https proxy не существует, а существует соединение методом connect сервер и клиента, которые общаются по https; другие, что действует как MITM, устанавливает два https соединения клиент-прокси/прокси-сервер и для каждого расшифровует и зашифровует трафик.

8
  • 2
    Если прокси поддерживает метод CONNECT, то внутри, возможно, будет установлено безопасное https-соединение с целевым сайтом. Если не поддерживает, то таки да, для вас всё будет незашифрованным http
    – andreymal
    30 сен 2021 в 16:11
  • Спасибо за комментарий. Я вижу, что после соединения с proxy по http далее я общаюсь TLS пакетами, видимо как вы описали. Где можно почитать про это подробнее, не совсем понятно как это работает?
    – Alexandr
    30 сен 2021 в 16:18
  • Я прочитал что создается туннель от сайта к клиенту, это туннель по принципу vpn?
    – Alexandr
    30 сен 2021 в 16:21
  • Не совсем. VPN- это все таки виртуальная локальная сеть, вы поднимаете тоннель до удаленной сети и подключаетесь к ней, это могут быть различные протоколы. Proxy, это все же посредник через которого проходит трафик. Он получает запрос от вас с вашего ip и выполняет его от своего имени с своего ip. 19 окт 2021 в 5:16
  • 1
    Почитайте как работают заголовки Authorization и WWW-Authorization. Аналогично работает прокси, но с заголовками Proxy-Authenticate Proxy-Authorization. Там регламентирован протокол. Вы можете выбрать любой из распространённых видов авторизации, главное что бы ваш клиент умел через этот протокол авторизироваться. Можно выбрать тот же Kerberos к примеру.
    – nick_n_a
    19 окт 2021 в 21:25

1 ответ 1

7
+50

Официально понятия HTTPS прокси не существует. Под этот термин могут подпадать 2 понятия:

  1. Вы подключаетесь к прокси используя TLS, а дальше используете HTTP метод CONNECT для соединения. Третья сторона при этом не видит ничего, кроме TLS пакетов.
  2. Вы подключаетесь к прокси без TLS. Третья сторона видит все HTTP заголовки: метод CONNECT, хост/порт куда вы подключаетесь, заголовки авторизации.

На разнообразных ресурсах где предоставляют списки бесплатных HTTPS прокси обычно имеют ввиду второй вариант. На счет платных прокси ничего не могу сказать.

Есть еще особые виды HTTP прокси, которые разрешают подключаться только к HTTP серверам. При этом они видят весь трафик, могут что-то кешировать у себя, изменять HTTP заголовки ваших запросов/ответов. Обычно использовались (используются?) в корпоративных сетях.

Рассмотрим детально HTTPS-прокси 2-ого вида. Хотя они и называются HTTPS, а подключаетесь вы к ним через HTTP, вы можете их использовать для любого протокола работающего поверх TCP: SSH, FTP, POP3, IMAP, SMTP и т. д. Так же вы можете подключиться к другому SOCKS/HTTP-прокси и устроить цепочку из прокси какой угодно длины. Реализация каждого конкретного прокси может различаться, возможно в ней будут белые/черные списки для хостов, или портов (это может ограничить общение по протоколам, которые висят на этих портах).

По вопросу когда происходит шифрование в HTTPS-прокси 2-ого вида. Оно происходит только тогда, когда протокол по которому вы подключаетесь переходит на шифрование. В случае если вы подключаетесь к HTTPS серверу, то TLS рукопожатие это то, из чего начинается обмен данными. Прокси сервер/ваш интернет провайдер видят те же самые TLS пакеты, которые видит ваш провайдер без использования прокси. При использовании TLS версии ниже или равной 1.2, они видят название хоста и сертификат в чистом виде. Таким образом они могут узнать какой сайт вы посещаете (даже если вы скрыли IP адрес посещаемого ресурса при помощи прокси).

Про MITM при использовании HTTPS-прокси вида 1 и 2. Прокси сервер может вам подсунуть левый SSL сертификат, и таким образом получить возможность читать и изменять весь трафик в чистом виде. Что бы этого не происходило существуют корневые сертификаты. Тут правило простое, нельзя игноривать ошибки проверки SSL сертификатов. В браузерах в последнее время процедура игнорирования ошибки SSL сертификата только усложняется, что бы создать проблемы недалеким пользователям, нажимающим "Ок, продолжить" во всех окошках.

Пример трафика подключения к прокси без авторизации. Вы подключаетесь по TCP к хост:порт прокси. Дальше согласно специцикации HTTP отправляется запрос:

CONNECT example.com:443 HTTP/1.1\r\n
Host: example.com\r\n
\r\n

Согласно правилам протокола HTTP вы ждете ответ, выглядит он так:

HTTP/1.1 200 Connection established\r\n
\r\n

В это время прокси сервер открыл TCP соединение к example.com. Дальше всё работает предельно просто. Всё что вы отправите прокси-серверу, он пересылает на example.com. Всё что example.com прислал прокси-серверу, пересылается вам.

Прокси сервер ничего не подменяет (если это не злоумышленный прокси). IP не нужно нигде подменять, это обрабатывается на уровне TCP/IP пакетов. example.com видит IP прокси сервера в заголовке TCP/IP.

Дальше вы отправляете TLS пакеты прокси, а прокси отправляет их example.com. Всё происходит прозрачно. Если у вас есть код, который умеет делать TLS рукопожатие, вы можете передать ему сокет после HTTP ответа прокси сервера (или высокоуровневую обертку над сокетов), и нижележащий код будет работать как обычно. Код не знает, что общается через прокси. Как и example.com не знает, что общается с вами через прокси.

Пример простейшего кода на C# с демонстрацией (он сильно упрощен, но работает с реальными HTTP-прокси):

var client = new TcpClient("прокси-сервер", 12345 /*порт*/);
var stream = client.GetStream();

// создаем HTTP запрос, конвертируем в байты, отправляем по TCP
string request =
    "CONNECT ru.stackoverflow.com:443 HTTP/1.1\r\n" +
    "Host: ru.stackoverflow.com\r\n" +
    "\r\n";
byte[] bytes = Encoding.ASCII.GetBytes(request);
stream.Write(bytes);

// получаем ответ, конвертируем в строку
// тут нужен парсинг ответа от сервера, предположим сервер вернул 200 код
byte[] buffer = new byte[1024];
int read = stream.Read(buffer, 0, buffer.Length);
string response = Encoding.ASCII.GetString(buffer, 0, read);
Console.WriteLine("Proxy response: " + response);

// создаем TLS поверх нашего TCP соединения
var tls = new SslStream(stream);
// проходим рукопожатие, указываем хост что бы проверить сертификат
// класс SslStream "не догадывается" что он работает через прокси
// он работает в обычном режиме
tls.AuthenticateAsClient("ru.stackoverflow.com");

// создаем HTTP запрос к ru.stackoverflow.com
request =
    "GET / HTTP/1.1\r\n" +
    "Host: ru.stackoverflow.com\r\n" +
    "Connection: Close\r\n" +
    "\r\n";
bytes = Encoding.ASCII.GetBytes(request);
// отправляем его через TLS
tls.Write(bytes);

// принимаем ответ через TLS
using var reader = new StreamReader(tls);
response = reader.ReadToEnd();

Console.WriteLine(response);

Результат работы:

Proxy response: HTTP/1.1 200 Connection established

HTTP/1.1 200 OK
Connection: close
cache-control: private
content-type: text/html; charset=utf-8
strict-transport-security: max-age=15552000
x-frame-options: SAMEORIGIN
x-request-guid: 4024b045-1c35-4d53-a827-6f58f89c7c79
content-security-policy: upgrade-insecure-requests; frame-ancestors 'self' https://stackexchange.com
Accept-Ranges: bytes
Date: Wed, 20 Oct 2021 22:25:14 GMT
Via: 1.1 varnish
X-Served-By: cache-hhn4052-HHN
X-Cache: MISS
X-Cache-Hits: 0
X-Timer: S1634768715.812812,VS0,VE98
Vary: Fastly-SSL
X-DNS-Prefetch-Control: off
Set-Cookie: prov=ad256a6c-746c-ebe9-7e57-d3ba0f3e1928; domain=.stackoverflow.com; expires=Fri, 01-Jan-2055 00:00:00 GMT; path=/; HttpOnly
transfer-encoding: chunked

3f8
<!DOCTYPE html>
...

А вот пример прокси-сервера, который может работать с кодом выше. Как видно кода гораздо меньше, и тут нет никакой магии:

// слушаем порт 12345
var listener = new TcpListener(IPAddress.Any, 12345);
listener.Start();

// принимаем сокет от прокси-клиента
var socket = listener.AcceptSocket();
var clientToProxyStream = new NetworkStream(socket);

// читаем HTTP запрос от клиента
byte[] bytes = new byte[1024];
int read = clientToProxyStream.Read(bytes, 0, bytes.Length);
string request = Encoding.ASCII.GetString(bytes, 0, read);

// тут должен быть парсинг запроса
// предположим нас попросили подключится к ru.stackoverflow.com

// подключаемся к ru.stackoverflow.com
var client = new TcpClient("ru.stackoverflow.com", 443);
var proxyToStackoverflowStream = client.GetStream();

// отправляем HTTP ответ обратно клиенту
string response = "HTTP/1.1 200 Connection established\r\n\r\n";
bytes = Encoding.ASCII.GetBytes(response);
clientToProxyStream.Write(bytes);

// перенаправляем все данные между потоками
// всё что пришло в clientToProxyStream отправляем в proxyToStackoverflowStream
// всё что пришло в proxyToStackoverflowStream отправляем в clientToProxyStream
var task1 = clientToProxyStream.CopyToAsync(proxyToStackoverflowStream);
var task2 = proxyToStackoverflowStream.CopyToAsync(clientToProxyStream);
// ждем пока задачи копирования завершатся, тоесть закрытия соединения
await Task.WhenAll(task1, task2);
4
  • Я правильно понимаю полный процесс? В первую очередь прохожу аутентификацию на прокси сервере по http. Далее отсылаю пакеты с ip прокси и где то в заголовках есть ip http сервера, который мне нужен. Прокси меняет заголовки , ip отправителя ставит свой, а получателя http сервер. При получения ответа от http сервера меняет получателя на мой ip и отсылает мне пакеты и т.д. ну и далее происходит установка TLS? Но даже после установки TLS провайдер видит в заголовках ip http сервера к которому я обращаюсь через прокси?
    – Alexandr
    20 окт 2021 в 21:02
  • @Alexandr Неправильно. Прокси не меняет заголовки, и не меняет IP. Я обновил ответ
    – Zergatul
    20 окт 2021 в 22:33
  • Спасибо за ответ. Одна вещь осталась не понятна, как выглядят эти tcp/ip пакеты по пути от клиента к прокси и от прокси до http сервера, чтоб осуществить роутинг? В нашей цепочке три ip, а в протоколе только source и destination
    – Alexandr
    21 окт 2021 в 8:03
  • @Alexandr пакеты выглядят как самые обычные. Когда клиент отсылает данные к прокси, там IP прокси, когда прокси отсылает клиенту, там только IP клиента, и т.д.
    – Zergatul
    21 окт 2021 в 10:38

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.