1


Нужно при парсинге страницы с помощью simple html dom, сделать пагинацию. То есть парсер в странице каталога собирает ссылки на товары, но собирает эти ссылки он с 1 страницы, как сделать чтобы он собирал и со второй (третьей,... пятой) тоже?

Нашел здесь же одно решение:

define('PAGE_COUNT', 250);
define('URL_PATTERN', "https://itp.ne.jp/genre_dir/9570/pg/[pnum]/?sr=1&ngr=1&num=20");

$urls = [];
for($pnum = 1; $pnum <= PAGE_COUNT; $pnum++){
    $urls[] = str_replace( '[pnum]', $pnum, URL_PATTERN);
}

print_r($urls);

Попробовал у себя сделать сделать так:

define('PAGE_COUNT', 2);
define('URL_PATTERN', "https://rozetka.com.ua/uslugi/c153670/page=[pnum]/");

$urls = [];
for($pnum = 1; $pnum <= PAGE_COUNT; $pnum++){
    $urls[] = str_replace( '[pnum]', $pnum, URL_PATTERN);


foreach ($urls as $url) {
    $html = curl_get($url);
    $dom = str_get_html($html);
    $services = $dom->find('.g-i-tile-i-box-desc');

foreach($services as $service){ 
    $a = $service->find('.g-i-tile-i-title a', 0);

echo $a->href . '<br>';
}

}

}

В итоге подгружается почему то только последнее значение - то есть вторая страница и с нее выгражаются нужные ссылки на товары, но соответственно с первой страницы ссылки не выгружаются.

Как сделать так чтобы выгружались ссылки и с первой и со второй страницы?

1 ответ 1

1

Как минимум тут ошибка в коде, должно быть так (сначала заполнить весь массив url):

define('PAGE_COUNT', 2);
define('URL_PATTERN', "https://rozetka.com.ua/uslugi/c153670/page=[pnum]/");

$urls = [];
for($pnum = 1; $pnum <= PAGE_COUNT; $pnum++){
    $urls[] = str_replace( '[pnum]', $pnum, URL_PATTERN);
}

foreach ($urls as $url) {
    $html = curl_get($url);
    $dom = str_get_html($html);
    $services = $dom->find('.g-i-tile-i-box-desc');

    foreach($services as $service){ 
        $a = $service->find('.g-i-tile-i-title a', 0);
        echo $a->href . '<br>';
    }
}

Ну и далее curl может тупо не забирает первую страницу если неподключен CURLOPT_FOLLOWLOCATION

с https://rozetka.com.ua/uslugi/c153670/page=1/ идет 301 редирект на https://rozetka.com.ua/uslugi/c153670/

Ну и если дело действительно в 301 редиректе вариант решения без ковыряния curl

define('PAGE_COUNT', 2);
define('URL_PATTERN', "https://rozetka.com.ua/uslugi/c153670/");

$urls = [];
for($pnum = 1; $pnum <= PAGE_COUNT; $pnum++){
    $urls[] = URL_PATTERN.($pnum==1 ? null : "page=$pnum/" );
}

foreach ($urls as $url) {
    $html = curl_get($url);
    $dom = str_get_html($html);
    $services = $dom->find('.g-i-tile-i-box-desc');

    foreach($services as $service){ 
        $a = $service->find('.g-i-tile-i-title a', 0);
        echo $a->href . '<br>';
    }
}
1
  • Огромное спасибо!
    – Ibn
    30 янв 2019 в 12:03

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.