0

Имеется задача по парсингу данных из всплывающих окон с сайта. Данные подгружаются после нажатия на эту самую кнопку. Пробовал смотреть запросы которые идут при этом всём - когда появляется окно, ко мне прилетает JSON, но в нём нет самих данных, а только заголовки полей этого окна. Можно ли как-то отловить запрос, или же нужно прибегать к эмуляции нажатия на эту самую кнопку?

1 ответ 1

0

Просто выполните вручную требуемый запрос и посмотрите во вкладке Networks (Google Chrome, Dev Console) что именно отправляет и поступает на сервер. Ищите в списке xhr-запрос. Смотрите какие именно заголовки и данные отправляются на сервер, после чего выполняете эту эмуляцию в cURL.

Пробовал смотреть запросы которые идут при этом всём - когда появляется окно, ко мне прилетает JSON, но в нём нет самих данных, а только заголовки полей этого окна.

Вполне возможно, что там не один xhr-запрос, а несколько. В первом приходят данные для создания окна, а уже во втором поступает информация для загрузки. Но то, что данные приходят - это факт, просто надо все правильно отследить.

Конечно, еще может быть ситуация, когда все поступает через WebSockets, но они также отслеживаются при анализе сетевого трафика.

Чтобы воспроизвести AJAX-запрос используйте следующий код:

// headers
$headers = array(
    'Cookie: ...',
    'Host: ...',
    ...
);
// post fields
$post_fields = array(
    'arg_1'=>'arg_1_value',
    'arg_2'=>'agr_2_value',
    ...
);
// options
$options = array(
    CURLOPT_URL => 'target_url',
    CURLOPT_RETURNTRANSFER => true,
    CURLOPT_HEADER => false,
    CURLOPT_HTTPHEADER => $headers,
    CURLOPT_POST => true,
    CURLOPT_POSTFIELDS => http_build_query($post_fields),
    CURLOPT_CONNECTTIMEOUT => 20,
    CURLOPT_SSL_VERIFYPEER => false,
    CURLOPT_TIMEOUT => 20,
    CURLOPT_USERAGENT => 'your_user_agent'
);
// curl
$curl = curl_init();
curl_setopt_array($curl, $options);
$data = curl_exec($curl);
curl_close($curl);

В качестве заголовков ($headers) передаем массив, который передается в реальном запросе. Можно его передавать не весь, но как правило обязательными являются Cookies (если сайт требует авторизацию), также в некоторых случаях сервер проверяет Host, Referer, User Agent (его в принципе, тоже можно передать как заголовок).

Подавляющее большинство AJAX-запросов на практике идет через POST, поэтому в настройках указываем передачу методом POST и отправляем на сервер массив переменных (которые должны быть такими же, как при реальном запросе - agr_1, arg_2).

В качестве target_url указываем тот URL, к которому обращается скрипт при AJAX-запросе. В случае необходимости также можно подключить проксирование через HTTP/HTTPS или SOCKS5 (рекомендую второе).

В переменную $data пишутся данные, которые приходят в запросе. В случае необходимости также можно подключить вывод заголовков ответа (CURLOPT_HEADER) или отладку (CURLOPT_VERBOSE).

7
  • Нашёл все необходимые мне данные в POST запросе, идущем сразу после получения этих самых заголовков окна. Получается cURL'ом надо его воспроизводить? Не могли бы немножко подробнее.
    – RedScreed
    Commented 13 нояб. 2017 в 0:33
  • @RedScreed, curl -X POST https://yourSite/
    – user207618
    Commented 13 нояб. 2017 в 0:50
  • Ну саму работу с cURL я нагуглил. Но я хочу разобраться, как с помощью этого получить необходимые мне данные. Все они лежат в JSON этого POST-запроса. Мне, выходит, надо его воспроизвести. Но как именно это сделать и получить данные - не знаю.
    – RedScreed
    Commented 13 нояб. 2017 в 0:54
  • @RedScreed дополнил ответ, написал код выше Commented 13 нояб. 2017 в 4:49
  • @Other это через командную строку, а автору, как понимаю, нужен код PHP Commented 13 нояб. 2017 в 4:56

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.