0

Есть массив ссылок, штук 300, каждую из которых надо обработать и если там в заголовке пишет 200 OK, то занести в массив.Проблема в том, что на одну ссылку уходит около 1 секунды и ожидание будет очень большим, если ссылок будет 1-2к.

Можно ли как-то реализовать это все параллельно в несколько потоков?Думал над вариантом неблокируемых сокетов и потоков(pthreads), но единственное в чем я сейчас кое-как разобрался это multi curl, да и тот вхолостую сначала крутит около 10-12к иттераций, что тоже дико замедляет.

Может кто поможет составить внятный код для многопоточной проверки?Пока что использую все в 1 поток вот таким образом:

function headGet($uril){
    $curl = curl_init();
    curl_setopt($curl,CURLOPT_URL, $uril);
    curl_setopt($curl,CURLOPT_RETURNTRANSFER,true);
    curl_setopt($curl,CURLOPT_NOBODY,true);
    curl_setopt($curl,CURLOPT_HEADER,true);
    $result = curl_exec($curl);
    return $result;
}

foreach($pager as $clin){
    $check = headGet($clin);
    if(strpos($check, '200 OK')){
    echo $clin;
    echo "</br>";
    flush();
    }
}
4
  • Про многопоточность не скажу, но как вариант оптимизации могу предложить get_headers. Чисто теоретически, он может быть быстрее.
    – NTP
    6 июн 2018 в 11:12
  • @NTP stackoverflow.com/questions/29844926/… тут ребята проверили и говорят что cURL чуть ли не в 2 раза быстрее работает, хм
    – Criuo
    6 июн 2018 в 12:04
  • у вас задача то одноразовая? или как? Запуск нескольких консольных скриптов каждый из которых обрабатывает часть массива ссылок, не вариант?
    – teran
    6 июн 2018 в 13:10
  • @teran задача не одноразовая.Пользователь должен вводить определенный url и по нему отрабатывает скрипт и формирует первичный массив ссылок на основании шаблона.И нужно отсеять те, которые не валидны.Ссылок много, поэтому и ищу решения для обработки больше чем 1 ссылки одновременно.
    – Criuo
    6 июн 2018 в 14:17

0

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Посмотрите другие вопросы с метками или задайте свой вопрос.