1

Добрый день, друзья! Подскажите, почему перестал работать парсер. Раньше все работало, а сейчас что-то случилось =((

Вот код:

$html = file_get_contents('http://www.gosugamers.net/hearthstone/gosubet');

$matchList = new simple_html_dom();

$matchList->load($html);

$titleList = new simple_html_dom();

$gameArray = array();

$output = array();

$done = $matchList->find('.matches', 2);

if ($done) { $d0 = 0;

    $d1 = 1;
    $d2 = 2;

    $live = true;

} else {

    $d0 = 0;

    $d1 = 0;

    $d2 = 1;

    $live = false;

}

$upcoming = $matchList->find('#col1 > .box', 1);

$game = null;

foreach($upcoming->find('tr') as $aGame) {

    $img1 = "http://www.gosugamers.net".$aGame->find('img', 0)->src;

    $img2  = "http://www.gosugamers.net".$aGame->find('img', 1)->src;

    $linkID = "http://www.gosugamers.net".$aGame->find('a', 0)->href;

    $date = trim($aGame->find('.live-in', 0)->plaintext);

    $html = file_get_contents($linkID);
    $titleList->load($html);

    $team1 =  $titleList->find('h3', 0)->plaintext;
    if (!$team1) {
        continue;
    }
    $team2 =  $titleList->find('h3', 1)->plaintext;

    $bestof = $titleList->find('.match-extras .bestof', 0)->plaintext;
    $bestof = current(array_slice(explode(' ', $bestof), 2, 1));
    if(!is_numeric($bestof)) $bestof = '?';
    $eventName = $titleList->find('.box-match-page > h2 a', 0)->plaintext . " [BO{$bestof}]";
    $fullDate = $titleList->find('.match-extras .datetime', 0)->plaintext;
    $fullDate = str_replace("at", "", $fullDate);
    $fullDate = $fullDate . " CET";
    $timeStamp = strtotime($fullDate);
    $game['img1'] = $img1;
    $game['team1'] = $team1;
    $game['img2'] = $img2;
    $game['team2'] = $team2;
    $game['eventName'] = $eventName;
    $game['fullDate'] = $fullDate;
    $game['liveIn'] = $date;

    $output["upcoming"][] = $game;

} //done

$str = json_encode($output);
$filestr  = "hearthstone_upcoming.json";
$fp=@fopen($filestr, 'w');
fwrite($fp, $str);
fwrite($fp, "");
fclose($fp);
echo $str;

1 ответ 1

1

Если раньше работало, а сейчас перестало, то в этом виноват не написанный код, а Ваш подход к решению вопроса.

Я Вам предлагаю двигаться в следующем направлении:

  1. Если вы меняли сервер (перехали куда-нибудь) или обновляли ПО на сервере, то необходимо проверить, не сменилась ли версия PHP.
  2. Проверить формат исходных данных.
  3. Выполнить отладку кода. Расставляйте везде var_dump() и смотрите, что происходит на каждом шаге. Если используемый Вами фреймворк имеет возможность установки дебагера, то юзайте его.

UPD

Запустил я твой скрипт. Давай по порядку:

1. Страница со списком игр http://www.gosugamers.net/hearthstone/gosubet

У тебя в коде идет парсинг картинок $img1 и $img2. Но если посмотреть блок <tr> ... </tr>, то в нем нету картинки для первой игры. И получается вы выполняете две строки кода:

$img1 = "http://www.gosugamers.net".$aGame->find('img', 0)->src;
$img2  = "http://www.gosugamers.net".$aGame->find('img', 1)->src;

И у вас в в первую картинку записывается картинка второй игры, так как для первой ее просто нету. А когда выполняется код для парсинга второй картинки, то он просто не может найти элемент и валится. Что бы ошибки не было, надо сначало проверять элемент на существование и если он существует, то парсить. Иначе игнорировать.

2. Теперь по странице с детальным просмотром матча. Смотри у тебя идет поиск элемента find('.box-match-page > h2 a', 0):

$eventName = $titleList->find('.box-match-page > h2 a', 0)->plaintext . " [BO{$bestof}]";

Скажу так, я не вкурсе что ты парсишь, но в блоке .box-match-page нету элементов h2. Поэтому в этом разберись сам.

Итого: внеси правки и скрипт будет работать!!!

13
  • А может ли как-то сервер, с которого парсятся данные, заблокировать доступ? И если да, то как можно это обойти?
    – lxxnutsxxl
    28 янв 2015 в 5:47
  • Доступ заблокировать не могут. НО! Если вы слишком часто запрашиваете данные, то вас могли забанить по IP адресу. Эту версию проверить легко: запустите Ваш скрипт с другого IP, например, заюзайте прокси. Но мне кажется, что у них на сайте просто поменялась разметка, либо id полей, имена классов. 28 янв 2015 в 6:14
  • 1
    @МаринаВоин, не учите людей плохому >Расставляйте везде var_dump() это самая большая ошибка. @Антон Созоненко, никогда не делай так.
    – stck
    28 янв 2015 в 13:20
  • 1
    @МаринаВоин, дебаггер не зависит от фреймворка > фреймворк имеет возможность установки дебагера чушь. XDebug'у, собственно, наплевать, что за фреймворк.
    – stck
    29 янв 2015 в 8:05
  • 1
    @МаринаВоин, логгер, профайлер и дебаггер - это три совершенно разные вещи. Ни один фреймоврк не предоставляет возможности расстановки брейкпоинтов (пушо и не должен).
    – etki
    29 янв 2015 в 8:32

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.