1

Собственно вопрос. Как сделать правильно парсинг 3х страниц.

$init = [];
$result = [];
//$user - из другой таблицы
$mh = curl_multi_init();

foreach ($user as $id=>$login) {
// вытаскиваю из БД login и pass и успешная авторизация

$init[$id]=curl_init();
$user_cookie_file = $_SERVER['DOCUMENT_ROOT'].'/cookies.txt';
curl_setopt($init[$id], CURLOPT_URL, 'https://site.ru/login');
curl_setopt($init[$id], CURLOPT_RETURNTRANSFER,1);
curl_setopt($init[$id], CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3683.103 Safari/537.36');
curl_setopt($init[$id], CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($init[$id], CURLOPT_COOKIEFILE, $user_cookie_file); 
curl_setopt($init[$id], CURLOPT_COOKIEJAR,  $user_cookie_file); 
curl_setopt($init[$id], CURLOPT_POST,1); 
curl_setopt($init[$id], CURLOPT_POSTFIELDS,"login=$login&passwd=$passwd");
//curl_multi_add_handle($mh, $init[$id]);

$urls = array(
'http://site.ru/page=1',
'http://site.ru/page=2',
'http://site.ru/page=3'
);

//foreach ($urls as $id => $url) {
  foreach ($urls as $url) {
    $init[$id] = curl_init($url);
  //curl_setopt($init[$id], CURLOPT_URL, $url);
    curl_setopt($init[$id], CURLOPT_HEADER, 0);
    curl_setopt($init[$id], CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($init[$id], CURLOPT_TIMEOUT, 30);
    curl_setopt($init[$id], CURLOPT_FOLLOWLOCATION, true);
    curl_setopt($init[$id], CURLOPT_SSL_VERIFYPEER, 0);
    curl_setopt($init[$id], CURLOPT_SSL_VERIFYHOST, 0);
    curl_setopt($init[$id], CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3683.103 Safari/537.36');
    curl_setopt($init[$id], CURLOPT_COOKIEJAR, $user_cookie_file);
    curl_setopt($init[$id], CURLOPT_COOKIEFILE, $user_cookie_file);
    curl_multi_add_handle($mh, $init[$id]);
  }
}

$active = null;
do {$mrc=curl_multi_exec($mh, $active);}
while ($mrc==CURLM_CALL_MULTI_PERFORM);
while ($active&&$mrc==CURLM_OK) {   
sleep(1);
while (curl_multi_exec($mh, $active) === CURLM_CALL_MULTI_PERFORM); 
if(curl_multi_select($mh)!=-1) {
do {$mrc=curl_multi_exec($mh, $active);} 
while ($mrc==CURLM_CALL_MULTI_PERFORM);
} 
}
foreach($init as $k => $ch) {
  $result[$k] = curl_multi_getcontent($ch);
  curl_multi_remove_handle($mh, $ch);
}
curl_multi_close($mh);
var_dump($result);

В итоге. У спешная авторизация. А дальше, при использовании

foreach ($urls as $id => $url) {

  • ключ и значение. Отображаются 3 странницы, но один пользователь Если юзаю

foreach ($urls as $url) {

Как спарсить?

1 ответ 1

0
Облегчил скрипт - для понимания. Везде https (не проблема)

Использование, что: **curl_setopt($init[$id],curlOPT_URL, $url);**

что так: **$init[$id] =curl_init($url);** - одинаково

Убирал - **$init[$id] =curl_init($url);** (роли не играет)

Изначально весь вопрос, оказался в **foreach ($user as $id=>$login) {**

Тестово сделал по колхозному

$mh =curl_multi_init();
foreach ($user as $id=>$login) {
$z=array(md5($id)); 
foreach ($v as $id3=>$login2) { 

Нужно как-то к **$user** привязать


Колхоз:

$url[$id]=curl_init();
curl_setopt($url[$id],curlOPT_URL, 'https://site.ru/page=1');
curl_setopt($url[$id],curlOPT_HEADER, 0);
curl_setopt($url[$id],curlOPT_RETURNTRANSFER, 1);
curl_setopt($url[$id],curlOPT_TIMEOUT, 30);
curl_setopt($url[$id],curlOPT_FOLLOWLOCATION, true);
curl_setopt($url[$id],curlOPT_SSL_VERIFYPEER, 0);
curl_setopt($url[$id],curlOPT_SSL_VERIFYHOST, 0);
curl_setopt($url[$id],curlOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3683.103 Safari/537.36');
curl_setopt($url[$id],curlOPT_COOKIEJAR, $user_cookie_file);
curl_setopt($url[$id],curlOPT_COOKIEFILE, $user_cookie_file);
curl_multi_add_handle($mh, $url[$id]);


$url[$login]=curl_init();
curl_setopt($url[$login],curlOPT_URL, 'https://site.ru/page=2');
curl_setopt($url[$login],curlOPT_HEADER, 0);
curl_setopt($url[$login],curlOPT_RETURNTRANSFER, 1);
curl_setopt($url[$login],curlOPT_TIMEOUT, 30);
curl_setopt($url[$login],curlOPT_FOLLOWLOCATION, true);
curl_setopt($url[$login],curlOPT_SSL_VERIFYPEER, 0);
curl_setopt($url[$login],curlOPT_SSL_VERIFYHOST, 0);
curl_setopt($url[$login],curlOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3683.103 Safari/537.36');
curl_setopt($url[$login],curlOPT_COOKIEJAR, $user_cookie_file);
curl_setopt($url[$login],curlOPT_COOKIEFILE, $user_cookie_file);
curl_multi_add_handle($mh, $url[$login]);


$url[$login2]=curl_init();
curl_setopt($url[$login2],curlOPT_URL, 'https://site.ru/page=3');
curl_setopt($url[$login2],curlOPT_HEADER, 0);
curl_setopt($url[$login2],curlOPT_RETURNTRANSFER, 1);
curl_setopt($url[$login2],curlOPT_TIMEOUT, 30);
curl_setopt($url[$login2],curlOPT_FOLLOWLOCATION, true);
curl_setopt($url[$login2],curlOPT_SSL_VERIFYPEER, 0);
curl_setopt($url[$login2],curlOPT_SSL_VERIFYHOST, 0);
curl_setopt($url[$login2],curlOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3683.103 Safari/537.36');
curl_setopt($url[$login2],curlOPT_COOKIEJAR, $user_cookie_file);
curl_setopt($url[$login2],curlOPT_COOKIEFILE, $user_cookie_file);
curl_multi_add_handle($mh, $url[$login2]);

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.