1

Есть массив строк, необходимо:

  1. Каждый элемент (строку) из массива отправить запросом в Google/Яндекс;
  2. Принять первую страницу выдачи;
  3. Разобрать ее и построить кусок Excel таблицы строка->Ссылки из выдачи.

Прошу подсказать действенные на данный момент способы выполнения 1 и 2 пунктов.

Заранее спасибо!

4
  • Речь идет о поисковом запросе в Google и Яндекс?
    – Дениc
    27 июл 2017 в 9:03
  • Если да, то получить первый результат в запросе к поисковику не сложно, но нужно притвориться человеком из-за отсутствия API, могу привести свой пример на Python: github.com/skar404/test-task
    – Дениc
    27 июл 2017 в 9:04
  • Добрый день! Спасибо, что откликнулись! Google или Яндекс - разницы нет, тут важно хоть как то найти информацию. Благодарю за ваш пример на Python, к сожалению этот язык знаю на уровне чтения/понимания кода, но не практикую. Предпочтительнее, конечно, PHP. Но если дело будет совсем туго попробую внедрить вашу наработку и подружить PHP и Python на одном сервере. Как бы безумно это не звучало!
    – OldKitty
    27 июл 2017 в 9:13
  • Не совсем по теме, хотя и по связанному вопросу,- по ссылке: blog.ivru.net/?id=185 есть парсер HTML кода выдачи для поисковой системы Яндекс. То-есть сам HTML код выдачи нужно предварительно получить, затем его можно передать скрипту таким образом на выходе получить: 1) позиции сайтов в выдаче(или информацию о том что в позиции находится реклама); 2) доменное имя соответствующего сайта; 3) заголовок, который предлагает Яндекс для перехода на соответствующий сайт. 26 мая 2022 в 9:17

1 ответ 1

3

Отправка запроса в Google:

$qury = "Hello+world";

libxml_use_internal_errors(true);

$dom = new DomDocument;
$dom->loadHTMLFile("https://www.google.ru/search?q=".$qury);

$xpath = new DomXPath($dom);
$a = $xpath->query('//*[@id="ires"]/ol/div/h3/a/@href');

foreach ($a as $b){
    echo $b->textContent.PHP_EOL;
    break; 
} 

И выводит url ссылку поискового запроса:

/url?q=https://ru.wikipedia.org/wiki/Hello,_world!&sa=U&ved=0ahUKEwj8wdP5mqnVAhXKDxoKHbPFAX4QFgggMAM&usg=AFQjCNHtgemtiRcaS6eHWGUWJf0454xBRA

И в принципе можно достать саму ссылку из этой строки. Чтобы получить текст в выдачи от Google нужно изменить xpath запрос на //*[@id="ires"]/ol/div/h3/a


В случаи с Yandex все проще у них вроде как есть API: https://tech.yandex.ru/xml/

Там вообще есть подробная документация: https://tech.yandex.ru/xml/doc/dg/concepts/about-docpage/

И приведен пример запроса для поиска:

https://yandex.<домен>/search/xml ? 
user=<имя пользователя>
 & key=<API-ключ>
 & query=<текст поискового запроса>
 & [lr=<идентификатор страны/региона поиска>]
 & [l10n=<язык уведомлений>]
 & [sortby=<тип сортировки>]
 & [filter=<тип фильтрации>]
 & [maxpassages=<количество пассажей>]
 & [groupby=<параметры группировки результатов>]
 & [page=<номер страницы>]
 & [showmecaptcha=<yes>]

Описания параметров запроса: https://tech.yandex.ru/xml/doc/dg/concepts/get-request-docpage/

Но для использования данного API необходимо подтвердить паспортные данные.

1
  • Огромное спасибо за первый фрагмент кода, оказалось то, что нужно! После легкой доработки работает как часы!
    – OldKitty
    27 июл 2017 в 17:28

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.