0

Есть некоторый сервер, к которому я подключаюсь при помощи curl и далее этот сервер отправляет некоторые ответы, которые я должен получать и выводить. У меня имеется следующий код, который по идее должен выполнять вышеописанные функции:

void listen(CURL* curl)
{
    char buf[1024];
    size_t num;
    curl_easy_recv(curl, buf, sizeof buf, &num);
    std::cout << buf;
}

int main()
{
    CURL* curl = curl_easy_init();
    curl_easy_setopt(curl, CURLOPT_URL, url.c_str());
    curl_easy_perform(curl);
    
    while (true)
        listen(curl);
}

Но этот код выводит только первый ответ, получаемый от сервера и всё, больше ничего не происходит, даже когда от сервера поступают другие ответы, ничего не выводится на консоль, хотя должно. Подскажите, что я делаю не так и как это исправить?

1 ответ 1

3

Как я понимаю, в main'е Вы инициализируете curl и в цикле вызываете функцию, котрая запрашивает стриницу по URL.

При этом url остаётся одним и тем же.

По сути, в цике Вы спрашиваете у сервера одну и ту же страницу.

Именно поэтому у Вас в цикле выводится одно и то же.

Но сервера могут быть устроены весьма хитро. Например, если обращаться к url-у "случайный анекдот" какого нибудь анекдот.ру - то при каждом обращении у вас будет другой анекдот.

Но в большинстве случаев, по одному и тому же url сервер отдаёт одно и то же содержимое.

И не зная, какой URL вы запрашиваете - не могу заранее сказать, что нужно сделать, чтобы перейти к следующей "порции данных".

Навскидку - может помочь модификация url на каждом шаге цикла.

Например, вот такая последовательность url откроет последовательно несколько страниц списка статей хабра:

https://habr.com/ru/all/

https://habr.com/ru/all/page2/

https://habr.com/ru/all/page3/

Ваша задача - при запросе с произвольного сайта - осложняется еще и тем, что многие сайты строят страницу на стороне клиента. То есть, в браузер загружается некий минимальный js-код, который начинает потом делать запросы к серверу, и менять содержимое страницы. curl такого не умеет - это "тупая качалка".

Дополнение насчет longpool

longpool - очень хороший пример не стандартного протокола. Протокол основан на том, что клиент коннектится к серверу... и висит. Сервер ему ничего не отвечает. А вот в тот момент, когда возникла какая то информация, которую надо передать клиенту - сервер "выплёвывает" её в уже созданное со стороны клиенту подключение и завершает сессию.

Клиент, получив порцию информации - немедленно переконнекчивается. И опять висит.

Тонкостьв том, что сервер при подключении анализирует заголовки клиента, и в некоторых случаях может "оутлупнуть" его просто по значению client agent. Проверить просто: нужно запустить соедиение из браузера и посмотерть его через fiddler и потом попробовать то же самое через программу, использующую curl. Если при этом сессия сильно отличается - значит, подделывать заголовки надо лучше :-)

Вот очень хорошая статья по поводу лонгпула, и пусть Вас не смущет то, что она про питончик - для c++ изменения будут, но основа там изложена верно.

Если статья не помогла решить проблему - напишите, пожалуйста, конкретный URL, который надо попробовать "полонгпулить" - я могу попробовать это сделать как нибудь вечерком.

Надеюсь, мой ответ Вам был полезен.

10
  • Спасибо за ваш ответ, я пишу библиотеку для работы с vk api, конкретно сейчас я застрял на работе с longpoll. И вся проблема в том, что url адрес то не меняется (если я не ошибаюсь) 16 мая 2021 в 8:18
  • 1
    О, лонгпул - очень хороший пример... я сейчас могу написать только короткий комментарий, но вечером постараюсь дополнить ответ. А есть вообще смысл в лонгпуле, при живом рест-апи?
    – S.H.
    16 мая 2021 в 12:06
  • 1
    Прошу прощения, работа навалилась... а можно чуть поподробнее - пример того запроса, который я смогу повторить? ну, чтобы в нём попробовать на заголовки посмотреть и тп. Можно вырезать из них все "чувствительные" данные - id-шники, токены - это всё не нужно, нужно указание, какой "поток данных" надо попробовать получить ит VK. Тогда-ночбю попробую что нить написать...
    – S.H.
    17 мая 2021 в 17:33
  • 1
    я дополнил ответ. Просто статьёй, без конкретики - расскажите,к акой поток данных Вы хотите получить, и тогда я готов поломать голову вместе. (я просто вконтакта никогда не видел, но доки посмотрел - вроде в апи ничего сложного нет)
    – S.H.
    18 мая 2021 в 9:21
  • 1
    Ничего страшного. Это вопрос про то, какие именнно данные нужно получить из "вконтакта". я почитал про api - там можно делать через API букально ВСЕ. То есть, берем, к примеру, объект chat - messages (vk.com/dev/messages.getChat): как я понимаю, он предназначен для "выковыривания" из чата новых сообщений. Тогда, по логике longpool, программа должна "срабатывать" каждый раз, когда в чате появлется новое сообщение. Имнно это - какую инфу Вы хотите забирать - я и назвал "потоком данных". В общем, это большая тема, если что то получится - я напишу
    – S.H.
    18 мая 2021 в 21:25

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.