3

Получить содержимое страницы на PHP. Раньше я делал это достаточно легко через file_get_contents( $url ). Но на одном сайте список товаров грузится ajax-om, точнее ангуляром.
То есть если открыть такую страницу в браузере, у вас будет крутиться лоадер и через некоторе время появятся товары.

Функция file_get_contents( $url ) получает сырой код, то есть типа

<div class="spisok" data-ng-repeat="tovar in models.tovari">
<span>
 {{tovari.name}}
</span><br/>
</div>

Как получить обработанное( загруженное ) содержимое страницы?

3
  • Смотрите, какой запрос делает браузер, чтобы получить эти данные и делайте аналогичный из php.
    – Visman
    Commented 25 сент. 2015 в 6:22
  • На английском стеке уже ответили: stackoverflow.com/questions/28505501/…
    – Alma Z
    Commented 25 сент. 2015 в 7:25
  • php код в студию
    – korytoff
    Commented 25 сент. 2015 в 7:26

5 ответов 5

1

Вам может помочь phantomjs. Через метод evaluate вы получите контекст загруженной страницы, а дальше можете либо качать всю страницу, либо весь арсенал JS селекторов у вас в руках. Пример взят с офф. сайта:

var webPage = require('webpage');
var page = webPage.create();

page.open('http://m.bing.com', function(status) {

  var title = page.evaluate(function() {
    return document.title;
  });

  console.log(title);
  phantom.exit();

});

1
  • а ваш код не работает =(
    – Randall
    Commented 5 мая 2018 в 18:24
0

Ну тут же все тоже самое загружаете инструмент разработчика , в любом браузере . В хроме и ему подобных (опера , яндекс , рамблер итд) он встроеный в мозиле firebug смотрите что грузится у вас после загрузки страницы , берете этот url подставляете свои параметры и тем же file_get_contents качаете контент пример

5
  • не прокатить. уже пробовал. Вместо содержимого просто вовращается false
    – Alma Z
    Commented 25 сент. 2015 в 7:21
  • Ну оно и понятно , вы смотрели каким методом выполнен ajax запрос ? если POST то file_get_contents не отработает и тут только CURL. мало информации даете .
    – Redr01d
    Commented 25 сент. 2015 в 7:31
  • Открываете консоль и поочередно отправляете запросы на GET и POST тот что даст результат и является искомым протоколом $.post("тут ваш url") или $.get("тут ваш url")
    – Redr01d
    Commented 25 сент. 2015 в 7:42
  • Похоже я просто передаю неправильный урл. Можно ли через интсрументы разработчика понять куда передаются параметры от angular.js?
    – Alma Z
    Commented 25 сент. 2015 в 7:54
  • я же написал Вам выше , берете урл по которому уходит запрос и проверяете его . angular.js тут не причем , ничего хитрого он де делает . дайте адрес от куда вы хотите спарсить .
    – Redr01d
    Commented 25 сент. 2015 в 8:16
0

Попробуйте подключиться через curl к нужной странице, должно сработать, например:

$curl = curl_init(); 
curl_setopt($curl, CURLOPT_URL, $url);
curl_setopt($curl, CURLOPT_HEADER, false);
curl_setopt($curl, CURLOPT_FAILONERROR, 1); 
curl_setopt($curl, CURLOPT_FOLLOWLOCATION, false);
curl_setopt($curl, CURLOPT_POST, false);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);

curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);                                         
curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false);

$data = curl_exec($curl)
curl_close($curl);
2
  • Неа. Получаешь сырой HTML код что то типа {{tovari.name}} вместо названия товаров
    – Alma Z
    Commented 25 сент. 2015 в 8:02
  • Такой код напрямую нельзя получать и открывать у себя в браузере. Ты создаёшь клиента-робота и подход тут другой. Берешь $data и с помощью SimpleHTML DOM дальше пилишь. Все это возможно. А если откроешь $data у себя в браузере то это уже кроссдоменный запрос, который может криво работать. Приходилось парсить сайт, где ajax подгружалось абсолютно всё. Прошло всё успешно.
    – Batan112
    Commented 29 июл. 2016 в 17:06
0

В хроме я использую расширение https://chrome.google.com/webstore/detail/quick-source-viewer/cfmcghennfbpmhemnnfjhkdmnbidpanb?utm_source=chrome-app-launcher-info-dialog

После загрузки страницы и отработки скриптов можно посмотреть результат со всеми изменениями.

1
  • А инструмент разработчика Хром - разве не тоже самое делает ?
    – Optimus1
    Commented 23 янв. 2022 в 17:20
0

С помощью библиотеки CURL это возможно. Недавно сайт парсил где все на ajax и с библиотекой jQuery. Так если парсишь с помощью curl и потом выводим в браузер, то будет все криво, потому-что клиент в данный момент CURL(сервер), а не Вы. Кроссдоменный запрос не прокатит поэтому нужно взять к примеру библиотеку Simple HTMLDOM

$curl = curl_init();
 curl_setopt($curl, CURLOPT_FAILONERROR, 1);
 curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1); // allow redirects
 curl_setopt($curl, CURLOPT_TIMEOUT, 10); // times out after 4s
 curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); // return into a variable
 curl_setopt($curl, CURLOPT_URL, "https://ya.ru/");
 curl_setopt($curl, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.1.5) Gecko/20091102 Firefox/3.5.5 GTB6");
 curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);
 curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false);
$data = curl_exec($curl);

Выводить $data не нужно. Всё, ваш клиент (сервер) получил страницу. Теперь скачиваем http://simplehtmldom.sourceforge.net/ И есть инструкция например здесь http://zubuntu.ru/php-simple-html-dom-parser/ То есть нам нужно продолжить так:

$html=str_get_html($data);
$result=$html->find(div.spisok span); //получаем массив 

Дальше его перебираем.

foreach ($result as $one){
   echo $one; //можем уже выводить то, что нашли
}

По такому принципу ищем данные, перебираем их. Важно точно определить "координаты" данных.

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.