0

Пишу парсер. Его задача:

  1. Спарсить url из генерирующегося xml файла
  2. Зайти на каждый url и спарсить оттуда инфу

У меня возникли проблемы на втором этапе. Использую библиотеку simple_html_dom.

Самих url порядка 3000. Из них нужно спарсить тоже немало информации. Понятное дело, что лучшее решение - это реализовать эмуляцию мультипоточности.

На github я нашел простенький класс php-curl-class. Но у меня не получается. Помогите пожалуйста.

require __DIR__ . '/vendor/autoload.php';

use \Curl\MultiCurl;

$multi_curl = new MultiCurl();
$multi_curl->setConcurrency(25);


for($j=0; $j < count($xml_data); $j++){

    $url = $multi_curl->addGet($xml_data[$j]['url']);
    $html = file_get_html($url->url);
    $dom = str_get_html($html);

    $main_img = $dom->find(".poster .image img");
    $additional_img = $dom->find(".gallery .image .item img");
    $attributes = $dom->find(".info .row .value");


    foreach ($main_img as $img){
       $xml_data[$j]['image'] = 'http://steampay.com'.$img->src;
    }


    for($k = 0; $k < count($additional_img); $k++){
        $xml_data[$j]["ad_image"][$k] =  'http://steampay.com'.$additional_img[$k]->src;
    }


    for($x = 0; $x < count($attributes); $x++) {
        $xml_data[$j]["attr$x"] = $attributes[$x]->innertext;
    }

    $dom->clear();
    unset($dom);

}

echo "Done!";




$multi_curl->start();

Не получается использовать этот класс, соответственно не работает многопоточность. информация парсится, но если ее парсить с малого кол-ва страниц.

0

2 ответа 2

1

Лучше забыть про реализацию многопоточного парсера средствами PHP (поверьте, вам же лучше будет) и пойти каким нибудь другим путем.

Лично я, если бы парсинг надо было делать именно на PHP, просто порождал бы необходимое количество процессов. Что-то вроде такого:

<?php
//тут какой-то код, вытаскивающий список URL
foreach($urls as $url){
    exec("php parser.php $url&");
}

Где parser.php - скрипт парсящий один URL

Ну и надо постараться не сожрать все доступные ресурсы сервера при этом. Счетчик активных процессов и while в помощь.

0
0

Давно писал такую штуку, держи в качестве примера https://bitbucket.org/hardworm/provider_parser/src/9755dc4937a91472f819580b6241b87ea6151ab8/providerRSS/telecomv1_curl_multi.php?at=default&fileviewer=file-view-default

Главная ошибка - пытаешься делать однопоточную логику. Где добавление url пачками? Где callback функция? В твоем классе другой пример https://github.com/php-curl-class/php-curl-class/blob/master/examples/multi_curl_get_callbacks.php

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.