0

Пишу парсер. Его задача:

  1. Спарсить url из генерирующегося xml файла
  2. Зайти на каждый url и спарсить оттуда инфу

У меня возникли проблемы на втором этапе. Использую библиотеку simple_html_dom.

Самих url порядка 3000. Из них нужно спарсить тоже немало информации. Понятное дело, что лучшее решение - это реализовать эмуляцию мультипоточности.

На github я нашел простенький класс php-curl-class. Но у меня не получается. Помогите пожалуйста.

require __DIR__ . '/vendor/autoload.php';

use \Curl\MultiCurl;

$multi_curl = new MultiCurl();
$multi_curl->setConcurrency(25);


for($j=0; $j < count($xml_data); $j++){

    $url = $multi_curl->addGet($xml_data[$j]['url']);
    $html = file_get_html($url->url);
    $dom = str_get_html($html);

    $main_img = $dom->find(".poster .image img");
    $additional_img = $dom->find(".gallery .image .item img");
    $attributes = $dom->find(".info .row .value");


    foreach ($main_img as $img){
       $xml_data[$j]['image'] = 'http://steampay.com'.$img->src;
    }


    for($k = 0; $k < count($additional_img); $k++){
        $xml_data[$j]["ad_image"][$k] =  'http://steampay.com'.$additional_img[$k]->src;
    }


    for($x = 0; $x < count($attributes); $x++) {
        $xml_data[$j]["attr$x"] = $attributes[$x]->innertext;
    }

    $dom->clear();
    unset($dom);

}

echo "Done!";




$multi_curl->start();

Не получается использовать этот класс, соответственно не работает многопоточность. информация парсится, но если ее парсить с малого кол-ва страниц.

0

2 ответа 2

1

Лучше забыть про реализацию многопоточного парсера средствами PHP (поверьте, вам же лучше будет) и пойти каким нибудь другим путем.

Лично я, если бы парсинг надо было делать именно на PHP, просто порождал бы необходимое количество процессов. Что-то вроде такого:

<?php
//тут какой-то код, вытаскивающий список URL
foreach($urls as $url){
    exec("php parser.php $url&");
}

Где parser.php - скрипт парсящий один URL

Ну и надо постараться не сожрать все доступные ресурсы сервера при этом. Счетчик активных процессов и while в помощь.

0
0

Давно писал такую штуку, держи в качестве примера https://bitbucket.org/hardworm/provider_parser/src/9755dc4937a91472f819580b6241b87ea6151ab8/providerRSS/telecomv1_curl_multi.php?at=default&fileviewer=file-view-default

Главная ошибка - пытаешься делать однопоточную логику. Где добавление url пачками? Где callback функция? В твоем классе другой пример https://github.com/php-curl-class/php-curl-class/blob/master/examples/multi_curl_get_callbacks.php

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.