0

Например, эта ссылка в браузере открывается "как есть". https://eda.ru/recepty/vypechka-deserty/brauni-brownie-20955

Но если поменять число в ссылке, то при открытии страницы ссылка меняется на нужную сама собой. Например, если поставить 20954:

https://eda.ru/recepty/vypechka-deserty/brauni-brownie-20954

То открывается другое блюдо, хотя изначально в ссылке написано "Брауни" из группы "Выпечка и десерты". Я этим воспользовался, когда писал скрейпер на Jsoup в Java - там я просто в цикле проходил и подсовывал в ссылку числа, все происходило само. Но сейчас пришлось переписывать его на PHP и в Simple Html Dom нет этой функции... Я так понял, перед передачей ссылки в функцию load_file нужно достать "настоящий" URL. Как это сделать?

Например, вот этот код

$html -> load_file("https://eda.ru/recepty/vypechka-deserty/brauni-brownie-20955");
$link = $html -> find("link", 0);
$exploded = explode("/", $link->href);
$category = $exploded[4];
echo $category;

Работает. Но если поменять на 20954, то вылетает еррор пицот. А если поменять на полный URL, то работает

3
  • Можно пример реализации? Я не пойму зачем ссылка реальная если на PHP можно так же менять цифры и парсить спокойно.
    – TheMY3
    26 мая 2017 в 7:59
  • @Yaroslav Molchan, обновил вопрос
    – user194625
    26 мая 2017 в 8:17
  • 404 там у вас вылетает, а не 500, а если быть точнее то 301-301-404
    – teran
    26 мая 2017 в 13:31

1 ответ 1

1

Есть подозрения что Simple HTML DOM не умеет ходить по редиректам, по этому я рекомендовал бы вам обходной путь, простым curl вы забираете данные и потом кормите их парсеру через str_get_html, у меня всё работает, вот пример:

$url = "https://eda.ru/recepty/vypechka-deserty/brauni-brownie-2093"; 
$ch = curl_init();
curl_setopt ($ch, CURLOPT_URL, $url);
curl_setopt ($ch, CURLOPT_TIMEOUT, 60);
curl_setopt ($ch, CURLOPT_FOLLOWLOCATION, true);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

$result = curl_exec($ch);
curl_close($ch); 

$html = str_get_html($result);
$link = $html->find("link", 0);
$exploded = explode("/", $link->href);
$category = $exploded[4];
echo $category;

Это всего лишь пример, лучше потом это всё разбить на функции для удобства использования.

9
  • вместо подозрений лучше бы открыли Simple HTML DOM и посмотрели каким образом он получает данные. Внутри используется file_get_contents, который в принципе сам по себе умеет обрабатывать редиректы. Проблема тут не в редиректах, а в куках по видимости.
    – teran
    26 мая 2017 в 13:19
  • @teran, в куках? Стоп, а как тогда Jsoup с этим справляется?
    – user194625
    26 мая 2017 в 15:47
  • @Flippy мб и не в куках. но file_get_contants успешно обрабатывает 301е редиректы по умолчанию, сервер отфильтровывает его по какому то другому принципу. Куки я тоже пытался прописать в хэдэры, но не помогло.
    – teran
    26 мая 2017 в 15:55
  • @teran, Я сейчас попробую изучить код Jsoup.. Там метод Jsoup.connect(url) есть
    – user194625
    26 мая 2017 в 16:06
  • @Flippy Проще время не тратить а загружать страницу как предложено через cURL и кормить готовый HTML парсеру. Чисто ради академического разве что. Про куки я думал, что мб file_fet_contents не принмиает куки и не передает их со следующим запросом. На основании этого сервер и отправляет его в лес. Заголовки ответов при использовании можно посмотреть через print_r($http_response_header);, там видно что два раза редиректит сначала, потом 404 выдает.
    – teran
    26 мая 2017 в 16:11

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.