3

Задача следующая - имеется массив ссылок, нужно получить по ним html контент. Для решения задачи был выбран multi curl в виду его скорости работы. Проблема - некоторые страницы создаются пустые, страницы всегда разные, то есть при одном запуске страница А может быть сгенерирована, а при следующем - нет. И так происходит всегда, процент пустых примерно 5-10%. ниже 2 примера реализации.


Пример 1

   $mh = curl_multi_init();     
            $connectionArray = array();
            foreach($urls as $key => $url)
        {
                $ch = curl_init();
                curl_setopt($ch, CURLOPT_URL, $url);
                curl_setopt($ch, CURLOPT_HEADER, false);
                curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
                curl_multi_add_handle($mh, $ch);
                $connectionArray[$key] = $ch;
        }
        $running = null;
        do
        {
            curl_multi_exec($mh, $running);
        }while($running > 0);

        foreach($connectionArray as $key => $ch)
        {
            //здесь получаю контент страницы
            $content = curl_multi_getcontent($ch);
            curl_multi_remove_handle($mh, $ch);
        }

        curl_multi_close($mh);

Пример 2

$mh = curl_multi_init();
        $chs = array();

        foreach ($urls as $url) {
            $chs[] = ( $ch = curl_init() );
            curl_setopt($ch, CURLOPT_URL, $url);
            curl_setopt($ch, CURLOPT_HEADER, 0);
            curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
            curl_multi_add_handle($mh, $ch);
        }

        $running = null;

        do {
            curl_multi_exec($mh, $running);

            $info = curl_multi_info_read($mh);

            if (is_array($info) && ( $ch = $info['handle'] )) {
                // получаю содержимое загруженной страницы
                $content = curl_multi_getcontent($ch);
            }                
        } while ($running);

        foreach ($chs as $ch) {
            curl_multi_remove_handle($mh, $ch);
            curl_close($ch);
        }
        curl_multi_close($mh);
2
  • Была подобная проблема, проверьте, возможно упираетесь в пропускную способность канала.
    – flax
    22 апр 2015 в 10:50
  • а не поделитесь данными по производительности. мне нужно получать и парсить от 240к страниц в час. справится ли -curl с отправкой столько запросов ? 23 сен 2018 в 19:43

3 ответа 3

2

Проверьте запросы на ошибки. Возможно слишком много запросов делаете одновременно. Для таких целей рекомендую вам библиотеку mcurl

1
  • Постарайтесь писать более развернутые ответы. Поясните, на чем основано ваше утверждение? 10 июн 2015 в 6:19
1

Установите таймаут ожидания для $ch.

curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 10); // Таймаут соединения. 0 - для неограниченного времени
curl_setopt($ch, CURLOPT_TIMEOUT, 10); // Таймаут ожидания. 0 - для неограниченного времени
1
  • Таймаут чтобы что?
    – Qwertiy
    11 окт 2023 в 18:24
1

Ответ на пример №2 дело в том, что когда вы читаете ответ из curl_multi_info_read с помощью перебора(цикла), то вы можете пропустить ответ пока разбираете ответ. curl_multi_exec вернет $running == 0 и скажет я все выполнила, а ответ ловите сами. Чтобы не пропустить точно ответ, надо получать ответ в цикле не только до $running != 0 а еще до того, пока очередь оставшихся сообщений от curl_multi_info_read не станет равна нулю. Получить эту очередь можно из ссылочной переменной второго аргумента функции curl_multi_info_read($m, &$queued_messages). Это будет выглядеть так:

$running = null;
$queued_messages = 0;
do {
            curl_multi_exec($mh, $running);

        $info = curl_multi_info_read($mh, $queued_messages);

        if (is_array($info) && ( $ch = $info['handle'] )) {
            // получаю содержимое загруженной страницы
            $content = curl_multi_getcontent($ch);
        }                
    } while ($running || $queued_messages > 0);

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.