2

Питаюсь парсить карточку товаров aliexpress сначала думал буду парсить через Simple HTML DOM но перейдя на мобильную версию, вижу что все ответы получают через ajax:

введите сюда описание изображения

но выдернуть через curl у меня что то не получается.

function file_get_contents_curl($url) {
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_HEADER, 0);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_URL, $url);
    $data = curl_exec($ch);
    curl_close($ch);
    return $data;
}
print_r(file_get_contents_curl('https://m.ru.aliexpress.com/ajaxapi/product/ajaxDetail.do?productId=32832914406'));  

Тут я думаю либо дело в куках либо в заголовках. Даже если так то откуда их брать и как правильно их отправить?

3 ответа 3

5

На будущее: можно в хроме нажать правой кнопкой на запрос => Copy => Copy as cUlr и в буфере появится curl команда целиком. Осталось просто вставить в консоль и смотреть результат.

Методом постепенного вычищения лишних заголовков пришел в минимальному виду запроса. На самом деле достаточно добавить заголовок:

CURLOPT_HTTPHEADER => [
    'referer: https://m.ru.aliexpress.com/',
]

Тогда алиекспресс отдаст Вам все, что нужно.

Вот команда для проверки:

curl 'https://m.ru.aliexpress.com/ajaxapi/product/ajaxDetail.do?productId=32679283205' -H 'referer: https://m.ru.aliexpress.com/' --compressed
4
  • А как вы пришли к тому что именно надо добавить referer вы проверили где-то или куда-то все загаловки? 27 окт 2017 в 17:12
  • Вставил в командную строку и получил что то не понятное: pp.userapi.com/c639919/v639919398/56b93/3bMqoE_WeeM.jpg 27 окт 2017 в 17:21
  • @newProgrammer, потому что curl нужно установить. А к referer я, пришел убирая поочередно заголовки, которые были при запросе внутри сайта. 27 окт 2017 в 18:09
  • Понял спасибо., 27 окт 2017 в 19:13
3

Не забываем про https.
Как уже сказали выше полный код будет выглядеть так, работает:

function file_get_contents_curl($url)
{
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0);
    curl_setopt($ch, CURLOPT_REFERER, 'https://m.ru.aliexpress.com/');
    curl_setopt($ch, CURLOPT_URL, $url);
    $data = curl_exec($ch);
    curl_close($ch);
    return $data;
}

echo file_get_contents_curl('https://m.ru.aliexpress.com/ajaxapi/product/ajaxDetail.do?productId=32832914406');

Вставил в командную строку и получил что то не понятное

Не туда вставляете.

3
  • За код спасибо, но хотелось бы еще узнать на будущее, как решить подобные задачи? 27 окт 2017 в 18:02
  • @newProgrammer все там же, во вкладке Network. Если запрос не проходит, значит проблема в заголовках. Берем все заголовки и убираем по одному. На каком поменяется запрос, тот и важен 27 окт 2017 в 19:06
  • Я думал что в браузер можно сразу узнать какой именно важен. Спасибо 27 окт 2017 в 19:15
1

Как вы правильно заметили, дело в куках и заголовках и возможно в передаче данных через POST-запрос:

    $options = array(
        CURLOPT_RETURNTRANSFER => true,
        CURLOPT_HEADER => true,
        CURLOPT_HTTPHEADER=>array('Content-Type: ...', 'Cookie: ...'),
        CURLOPT_POST => true,
        CURLOPT_POSTFIELDS => http_build_query($post_fields),
        CURLOPT_CONNECTTIMEOUT => 20,
        CURLOPT_SSL_VERIFYPEER => false,
        CURLOPT_TIMEOUT => 20,
        CURLOPT_USERAGENT => 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36'
    );

    $curl = curl_init();
    curl_setopt_array($curl, $options);
    $data = curl_exec($curl);
    curl_close($curl);

В CURLOPT_HTTPHEADER передаете все заголовки (в т.ч. cookies, т.к. последние с точки зрения сервера как раз и являются заголовками), в CURLOPT_USERAGENT передаете заголовок User Agent'а (желательно тот, под которым и были получены cookies).

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.