1

Много лет имел дело с cURL, и сегодня столкнулся с чем то волшебным. Мой PHP скрипт (UTF-8) получает с сайта (UTF-8) через cURL и последующим парсингом с помощью simple_html_dom некую ссылку на этом же сайте но с кучей параметров. В параметрах само собой встречается "&". Эту полученную ссылку я запрашиваю cURL у сервера и при этом понимаю по логам, что у меня отрезается всё после первого "&". При этом если я выведу получаему ссылку, скопирую ее с экрана и воткну в запрос cURL, то всё будет ок и "&" не обрежется. Я плясал с бубном с htmlentities, с str_replace, c iconv и никак. После вставки из буфера копипастом всё работает, а до встаки при автоматическом получении всё после "&" отрезается. Я вывожу то, что у меня не отработало, копирую тут же, вставляю в код URL и он тут же работает. Если вставить в браузер эту полученную URL то всё опять же работает. Я вывожу строку URL уже непосредственно при передаче параметра cURL и уверен, что вижу именно ее. Я даже разбивал URL с помощью explode и вставлял "&" где надо потом, но это тоже ничего не дало %)

Никаких "русских" символов в URL быть не должно.

GetIpbForum(50);

function GetIpbForum($records){
    require_once '../parser/simple_html_dom.php';
    $pagesTotal = 1; 
    $lPage = 0; 
    $recCntR = 0;

    $records = 30;
    $URL = 'http://star-citizen-ru.ru/tags/forums/star+citizen/';

    $html = get_https_page22($URL,1);

    if(isset($html->find('.ipsList_inline .next a',0)->href)){
        $pagesTotal = $html->find('.ipsList_inline .next a',0)->href;
    }

    $aaa = 0;
    while($aaa < 3) {
        $aaa++;
        $html = null;

        $html = get_https_page22($pagesTotal);
        if(isset($html->find('.ipsList_inline .next a',0)->href)){
            $pagesTotal = $html->find('.ipsList_inline .next a',0)->href;
        }

        echo $html;
    }

}



function get_https_page22($URL){
    if( $curl = curl_init() ){
        $headers[] = "Accept: */*";
        $headers[] = "Connection: Keep-Alive";
        $headers[] = "Referer: http://starmon.shin0by.com/";
        $agent = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20100101 Firefox/29.0";

        //Раскоменить и получить рабочий ответ.
        //$URL = "http://star-citizen-ru.ru/index.php?app=core&module=search&do=search&andor_type=&sid=4c845c5a8fad10bb50daa082b703af4b&search_app_filters[forums][sortKey]=date&search_tags=star+citizen&search_app_filters[forums][sortKey]=date&search_term=&search_app=forums&st=25";

        echo $URL."<br>";
        curl_setopt($curl, CURLOPT_URL, $URL);
        curl_setopt($curl, CURLOPT_HTTPHEADER,  $headers);
        curl_setopt($curl, CURLOPT_HEADER,  0);
        curl_setopt($curl, CURLOPT_USERAGENT, $agent);
        curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false);
        curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);    
        curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
        curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);
        $myResult = curl_exec($curl);
        curl_close($curl);
        return str_get_html($myResult);
    }
}
6
  • Можешь код привести своего скрипта?
    – MichaelPak
    Commented 19 нояб. 2015 в 14:32
  • 1 сек, чищу от совсем лишнего... Commented 19 нояб. 2015 в 14:40
  • Не торопись, времени полно )
    – MichaelPak
    Commented 19 нояб. 2015 в 14:41
  • Ну вот как то так. Обновил первый пост. Там всё еще есть ненужное так как выдернуто из контекста для того, что бы работало автономно сейчас в этом примере, но то что есть у меня отрабатывает. Для сравнения в функции get_https_page22 раскомментить //$URL и получить иной результат. Я пытаюсь пройти по кнопке NEXT у результатов поиска форума. С ними всё договорено и они просто не имеют иного способа вывести результат по нужным тегам. Commented 19 нояб. 2015 в 14:55
  • Похоже, что в ссылке HTML-мнемоники. Попробуйте в функции с cURL обработать URL через htmlentities()
    – LV426
    Commented 19 нояб. 2015 в 16:10

1 ответ 1

1

Нашёл. Оказалось, что html_entity_decode "творит чудеса".

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.