Требуется осуществить обработку текстов содержащих некоторое слово. Алгоритм: иду в поисковик и вбиваю слово, читаю предложения с этим словом. Как осуществить на php парсинг(?) результатов поиска хоть какого-нибудь поисковика? Где-то читал про file_get_contents, но не работает. Гугл предлагает API, но как-то непонятно
2 ответа
Получать страницу выдачи поисковой системы можно используя curl, а распарсть ответ можно, например, с помощью библиотеки phpQuery. В настройках curl нужно установить user-agent любого браузера, иначе гугл может блокировать запросы.
Также можно использовать API Google и получать результат сразу в формате JSON (при использовании api есть ограничения на количество запросов в сутки)
-
Спасибо, но, к сожалению, сервер ограничивает возможности(не поставить curl) буду рад, если вы поможете мне разобраться с API google. Ключ я получил, но не понимаю, что кроме ключа и собственно запроса надо отправить в get 16 мар 2013 в 20:12
-
1Вот пример url для получения результатов запроса googleapis.com/customsearch/v1element?key={ваш_клч}&cx=011910377712474401386:lo-xv0xuhw8&=поисковый+запрос На этот url нужно отправлять GET запрос, результат будет возвращен в формате JSON. в key устанавливаете ваш ключ cx=011910377712474401386:lo-xv0xuhw8 - указывает использовать выдачу поисковой системы google (если например нужно выполнять поиск только по вашему сайту cx будет другим) Остальные параметры описанные на странице документации не обязательны.– Alex16 мар 2013 в 21:25
-
Не знаю как там у Гугла, а у Яндекса ограничения вообще жестокие, что-то около 1000 запросов в сутки вроде бы. :) Я бы распарсила регулярными выражениями, но это только потому что я их люблю. :) Получать страницу лучше всё же cURL-ом, вы уверены, что он уже не установлен? :) А если и file_get_contents
запрещён, то нужно срочно менять хостинг-провайдера. :)