Пишу парсер. Его задача:
- Спарсить url из генерирующегося xml файла
- Зайти на каждый url и спарсить оттуда инфу
У меня возникли проблемы на втором этапе. Использую библиотеку simple_html_dom.
Самих url порядка 3000. Из них нужно спарсить тоже немало информации. Понятное дело, что лучшее решение - это реализовать эмуляцию мультипоточности.
На github я нашел простенький класс php-curl-class. Но у меня не получается. Помогите пожалуйста.
require __DIR__ . '/vendor/autoload.php';
use \Curl\MultiCurl;
$multi_curl = new MultiCurl();
$multi_curl->setConcurrency(25);
for($j=0; $j < count($xml_data); $j++){
$url = $multi_curl->addGet($xml_data[$j]['url']);
$html = file_get_html($url->url);
$dom = str_get_html($html);
$main_img = $dom->find(".poster .image img");
$additional_img = $dom->find(".gallery .image .item img");
$attributes = $dom->find(".info .row .value");
foreach ($main_img as $img){
$xml_data[$j]['image'] = 'http://steampay.com'.$img->src;
}
for($k = 0; $k < count($additional_img); $k++){
$xml_data[$j]["ad_image"][$k] = 'http://steampay.com'.$additional_img[$k]->src;
}
for($x = 0; $x < count($attributes); $x++) {
$xml_data[$j]["attr$x"] = $attributes[$x]->innertext;
}
$dom->clear();
unset($dom);
}
echo "Done!";
$multi_curl->start();
Не получается использовать этот класс, соответственно не работает многопоточность. информация парсится, но если ее парсить с малого кол-ва страниц.