0

Нужно к себе спарсить информацию о тендерах http://zakupki.gov.ru/epz/order/quicksearch/search.html

Пробую реализовать через simple_html_dom. Их новости получилось спарсить, информацию о тендерах — нет.

require_once 'simple_html_dom.php'; // библиотека для парсинга
           // $username = 'durov'; // Имя в twitter
            $maxpost = '5'; // к-во постов
            $html = file_get_html('http://zakupki.gov.ru/epz/order/quicksearch/search.html');
            $i = '0';
            foreach ($html->find('div.registerBox') as $article) { //выбираем все li сообщений
                $item['text'] = $article->find('div.reportBox', 0)->innertext; // парсим текст сообщения в html формате
                $item['time'] = $article->find('ul', 0)->innertext; // парсим время в html формате
                $articles[] = $item; // пишем в массив
                $i++;
                if ($i == $maxpost) break; // прерывание цикла
            }

                for ($j = 0; $j < $maxpost; $j++) {
                    echo '<div class="twitter_message">';
                    echo '<p class="twitter_text">' . $articles[$j]['text'] . '</p>';
                    echo '<p class="twitter_time">' . $articles[$j]['time'] . '</p>';
                    echo '</div>';
                }

Ошибки:

Warning: file_get_contents(http://zakupki.gov.ru/epz/order/quicksearch/search.html) [<a href='function.file-get-contents'>function.file-get-contents</a>]: failed to open stream: HTTP request failed! HTTP/1.1 404 Not Found in C:\Program Files\VertrigoServ\www\simple_html_dom.php on line 31

Fatal error: Call to a member function find() on a non-object in C:\Program Files\VertrigoServ\www\pars.php on line 9

Подскажите, как быть.

9
  • simple_html_dom.php точно находится в той же папке что и файл pars.php ? 4 янв 2016 в 21:34
  • Да точно,с новостями то работает.
    – zkolya
    4 янв 2016 в 21:40
  • А у вас включено отображение warning сообщений? Возможно парсер не может просто загрузить страницу и выдает что-то типа ` failed to open stream: HTTP request failed` а вы этого не наблюдаете.. в результате и остальное обламывается 4 янв 2016 в 21:44
  • А что Вы имеете ввиду под отображением,мне выдает то,что выше видно.Warning и Fatal error
    – zkolya
    4 янв 2016 в 21:47
  • У вас же в первом warning явно сказано HTTP/1.1 404 Not Found он не получил страницу по указанному URL
    – Mike
    4 янв 2016 в 21:53

1 ответ 1

1

Пробуйте curl с разными параметрами. Для вашего примера должно работать вот так:

include './domParser/simple_html_dom.php';
$maxpost = '5'; // к-во постов            
$url = 'http://zakupki.gov.ru/epz/order/quicksearch/search.html';

$ch = curl_init($url);          
curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/533.4 (KHTML, like Gecko) Chrome/5.0.375.125 Safari/533.4");
$curl_scraped_page = curl_exec($ch);

$html = new simple_html_dom();          
$html->load($curl_scraped_page, true, false);

$i = '0';

foreach ($html->find('div.registerBox') as $article) { //выбираем все li сообщений
    $item['text'] = $article->find('div.reportBox', 0)->innertext; // парсим текст сообщения в html формате
    $item['time'] = $article->find('ul', 0)->innertext; // парсим время в html формате
    $articles[] = $item; // пишем в массив
    $i++;
    if ($i == $maxpost) break; // прерывание цикла
}

for ($j = 0; $j < $maxpost; $j++) {
    echo '<div class="twitter_message">';
    echo '<p class="twitter_text">' . $articles[$j]['text'] . '</p>';
    echo '<p class="twitter_time">' . $articles[$j]['time'] . '</p>';
    echo '</div>';
}

пример: http://phpfiddle.org/main/code/innq-pc89

2
  • Большое спасибо за столь подробное разъяснение!Не подскажите как быть со следующими страницами,а то выводит максимум 10 записей
    – zkolya
    4 янв 2016 в 22:55
  • @zkolya вообще, по-хорошему, надо сделать отдельно две функции. Первая парсит страницу, вторая анализ надо ли переходить на другую страницу (то есть анализирует DOM у пагинатора, если тот существует). И из первой вызывать вторую. А во второй, если анализ показал, что можно перейти на следующую-берет ссылку и вызывает первую функцию. По сути получится рекурсия между ними пока не достигет последней страницы. Вот вам пример для разбора phpfiddle.org/main/code/6ept-k70m 5 янв 2016 в 6:29

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.