3

У меня имеется некоторое количество сайтов, за которыми постоянно нужно следить. (Кол-во проиндексированных страниц и ТИЦ). Пытался написать с помощью CURL - Яндекс говорит, что запросы автоматические, естественно. Какие у вас есть идеи реализации скрипта? Заранее благодарен.

7
  • Коллега, пишет бота, приучает к яндексу, тоже будет интересно узнать, есть ли уже готовые решения?
    – FLK
    23 мар 2012 в 15:29
  • 2
    1. "У меня имеется некоторое количество сайтов, за которыми постоянно нужно следить." -- Всмысле.... чтобы их не украли, они не убежали... чтбы им не стало плохо, либо слишком хорошо ? .... А может чтобы они сладкого жрали меньше ? :)))) Что есть "следить" ??? Опишите ка более точно. 2. Не думаете что для такого "слежения" у Яндекса API есть какое-то нибудь, либо уже готовый интерфейс ? :) 23 мар 2012 в 15:32
  • @Станислав Комар, минус или сами в камент переведете?) Ну не первый же день тут =/
    – Sh4dow
    23 мар 2012 в 15:34
  • Ну не подумал... :) Что такого ?) 23 мар 2012 в 16:08
  • Минус не мой, кстати. Пока)
    – Sh4dow
    23 мар 2012 в 16:14

1 ответ 1

4

Есть готовое решение, но показать смогу только в понедельник.

Есть алгоритм:

  1. Сокетом(ну или cURL-ом) стучимся в Яндекс - он дает 301 на капчу
  2. Получаем капчу, показываем юзверю
  3. Юзверь заполняет - данные капчи уходят в Яндекс (с ай-пи проверяющего скрипта)
  4. Тут надо поймать куки, передаваемые Яшей и записать их (в файл либо в БД)
  5. Обращаемся к поиску с записанными куки
  6. парсим ответ
  7. Если яндекс снова дал капчу - повторить.
  8. ...
  9. PROFIT!

Еще можно быть честным ботом и парсить xml выдачу. Но она не хило отличается от реальной.

Это про позиции и количество страниц в индексе.

Про ТИЦ не вспомню сейчас. Модифицировал существующий код.

UPD: Совсем забыл. Вот метод для проверки ТиЦ:

public function tic($url) {
        $content = file_get_contents('http://bar-navig.yandex.ru/u?ver=2&show=32&url=http://'. $url);
        preg_match('#<tcy rang="[0-9]*" value="([0-9]*)"/>#', $content, $matches );
        $parse = intval($matches[1]);
        if (isset($parse)){
            $this->response['html'] = $parse;
        }
    }

Вырвал с мясом. Если необходимо - поясню, но тут вроде бы и так все понятно.

Вообще могу подогнать исходники класса-проверялки. Проверяет:

  1. Яндекс ТИЦ:
  2. Google PR:
  3. Страницы в индексе Яндекс
  4. Страницы в индексе Google
  5. Страницы в индексе Yahoo
  6. Ссылки на сайт в Яндекс
  7. Ссылки на сайт в Яндекс.Блоги
  8. Ссылки на сайт в Google
  9. Ссылки на сайт в Yahoo
  10. Яндекс каталог
  11. mail.ru каталог
  12. dmoz каталог
  13. Rambler каталог
  14. Aport каталог
  15. Рамблер счетчик на сайте
  16. Mail.ru счетчик на сайте
  17. spylog счетчик на сайте
  18. hotlog счетчик на сайте
  19. liveinternet счетчик на сайте
  20. Яндекс Метрика счетчик на сайте
  21. google analytics счетчик на сайте

Но индексы Яндекса - из XML выдачи.

4
  • Вся загвоздка как раз и есть в том, что это должно проходить без участия юзверя )
    – FLK
    23 мар 2012 в 17:04
  • Тогда добро пожаловать в XML выдачу =) Ну или шаманизм, завязаный на запросах с разных IP с разной периодичностью. Но никаких гарантий ) btw: куки от капчи будут жить довольно долго если не злоупотреблять. Еще, поговаривают, можно пользоваться другими, менее защищенными, поисковиками, покупающими поиск у Яндекса. Можете поискать.
    – ikoolik
    23 мар 2012 в 17:50
  • Готов купить исходники класса-проверялки.
    – user12187
    21 апр 2013 в 21:51
  • Весело, готов глянуть на сие решение :)
    – Artem
    22 апр 2013 в 5:37

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.