Много лет имел дело с cURL, и сегодня столкнулся с чем то волшебным. Мой PHP скрипт (UTF-8) получает с сайта (UTF-8) через cURL и последующим парсингом с помощью simple_html_dom некую ссылку на этом же сайте но с кучей параметров. В параметрах само собой встречается "&". Эту полученную ссылку я запрашиваю cURL у сервера и при этом понимаю по логам, что у меня отрезается всё после первого "&". При этом если я выведу получаему ссылку, скопирую ее с экрана и воткну в запрос cURL, то всё будет ок и "&" не обрежется. Я плясал с бубном с htmlentities, с str_replace, c iconv и никак. После вставки из буфера копипастом всё работает, а до встаки при автоматическом получении всё после "&" отрезается. Я вывожу то, что у меня не отработало, копирую тут же, вставляю в код URL и он тут же работает. Если вставить в браузер эту полученную URL то всё опять же работает. Я вывожу строку URL уже непосредственно при передаче параметра cURL и уверен, что вижу именно ее. Я даже разбивал URL с помощью explode и вставлял "&" где надо потом, но это тоже ничего не дало %)
Никаких "русских" символов в URL быть не должно.
GetIpbForum(50);
function GetIpbForum($records){
require_once '../parser/simple_html_dom.php';
$pagesTotal = 1;
$lPage = 0;
$recCntR = 0;
$records = 30;
$URL = 'http://star-citizen-ru.ru/tags/forums/star+citizen/';
$html = get_https_page22($URL,1);
if(isset($html->find('.ipsList_inline .next a',0)->href)){
$pagesTotal = $html->find('.ipsList_inline .next a',0)->href;
}
$aaa = 0;
while($aaa < 3) {
$aaa++;
$html = null;
$html = get_https_page22($pagesTotal);
if(isset($html->find('.ipsList_inline .next a',0)->href)){
$pagesTotal = $html->find('.ipsList_inline .next a',0)->href;
}
echo $html;
}
}
function get_https_page22($URL){
if( $curl = curl_init() ){
$headers[] = "Accept: */*";
$headers[] = "Connection: Keep-Alive";
$headers[] = "Referer: http://starmon.shin0by.com/";
$agent = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20100101 Firefox/29.0";
//Раскоменить и получить рабочий ответ.
//$URL = "http://star-citizen-ru.ru/index.php?app=core&module=search&do=search&andor_type=&sid=4c845c5a8fad10bb50daa082b703af4b&search_app_filters[forums][sortKey]=date&search_tags=star+citizen&search_app_filters[forums][sortKey]=date&search_term=&search_app=forums&st=25";
echo $URL."<br>";
curl_setopt($curl, CURLOPT_URL, $URL);
curl_setopt($curl, CURLOPT_HTTPHEADER, $headers);
curl_setopt($curl, CURLOPT_HEADER, 0);
curl_setopt($curl, CURLOPT_USERAGENT, $agent);
curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false);
curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);
$myResult = curl_exec($curl);
curl_close($curl);
return str_get_html($myResult);
}
}