У меня имеется некоторое количество сайтов, за которыми постоянно нужно следить. (Кол-во проиндексированных страниц и ТИЦ). Пытался написать с помощью CURL - Яндекс говорит, что запросы автоматические, естественно. Какие у вас есть идеи реализации скрипта? Заранее благодарен.
-
Коллега, пишет бота, приучает к яндексу, тоже будет интересно узнать, есть ли уже готовые решения?– FLK23 мар 2012 в 15:29
-
21. "У меня имеется некоторое количество сайтов, за которыми постоянно нужно следить." -- Всмысле.... чтобы их не украли, они не убежали... чтбы им не стало плохо, либо слишком хорошо ? .... А может чтобы они сладкого жрали меньше ? :)))) Что есть "следить" ??? Опишите ка более точно. 2. Не думаете что для такого "слежения" у Яндекса API есть какое-то нибудь, либо уже готовый интерфейс ? :)– Станислав Комар23 мар 2012 в 15:32
-
@Станислав Комар, минус или сами в камент переведете?) Ну не первый же день тут =/– Sh4dow23 мар 2012 в 15:34
-
Ну не подумал... :) Что такого ?)– Станислав Комар23 мар 2012 в 16:08
-
Минус не мой, кстати. Пока)– Sh4dow23 мар 2012 в 16:14
1 ответ
Есть готовое решение, но показать смогу только в понедельник.
Есть алгоритм:
- Сокетом(ну или cURL-ом) стучимся в Яндекс - он дает 301 на капчу
- Получаем капчу, показываем юзверю
- Юзверь заполняет - данные капчи уходят в Яндекс (с ай-пи проверяющего скрипта)
- Тут надо поймать куки, передаваемые Яшей и записать их (в файл либо в БД)
- Обращаемся к поиску с записанными куки
- парсим ответ
- Если яндекс снова дал капчу - повторить.
- ...
- PROFIT!
Еще можно быть честным ботом и парсить xml выдачу. Но она не хило отличается от реальной.
Это про позиции и количество страниц в индексе.
Про ТИЦ не вспомню сейчас. Модифицировал существующий код.
UPD: Совсем забыл. Вот метод для проверки ТиЦ:
public function tic($url) {
$content = file_get_contents('http://bar-navig.yandex.ru/u?ver=2&show=32&url=http://'. $url);
preg_match('#<tcy rang="[0-9]*" value="([0-9]*)"/>#', $content, $matches );
$parse = intval($matches[1]);
if (isset($parse)){
$this->response['html'] = $parse;
}
}
Вырвал с мясом. Если необходимо - поясню, но тут вроде бы и так все понятно.
Вообще могу подогнать исходники класса-проверялки. Проверяет:
- Яндекс ТИЦ:
- Google PR:
- Страницы в индексе Яндекс
- Страницы в индексе Google
- Страницы в индексе Yahoo
- Ссылки на сайт в Яндекс
- Ссылки на сайт в Яндекс.Блоги
- Ссылки на сайт в Google
- Ссылки на сайт в Yahoo
- Яндекс каталог
- mail.ru каталог
- dmoz каталог
- Rambler каталог
- Aport каталог
- Рамблер счетчик на сайте
- Mail.ru счетчик на сайте
- spylog счетчик на сайте
- hotlog счетчик на сайте
- liveinternet счетчик на сайте
- Яндекс Метрика счетчик на сайте
- google analytics счетчик на сайте
Но индексы Яндекса - из XML выдачи.
-
Вся загвоздка как раз и есть в том, что это должно проходить без участия юзверя )– FLK23 мар 2012 в 17:04
-
Тогда добро пожаловать в XML выдачу =) Ну или шаманизм, завязаный на запросах с разных IP с разной периодичностью. Но никаких гарантий ) btw: куки от капчи будут жить довольно долго если не злоупотреблять. Еще, поговаривают, можно пользоваться другими, менее защищенными, поисковиками, покупающими поиск у Яндекса. Можете поискать.– ikoolik23 мар 2012 в 17:50
-
Готов купить исходники класса-проверялки.– user1218721 апр 2013 в 21:51
-