0

Решился написать поисковую систему, уже написал паука, который слушается robots.txt, но вот проблема: нужно сделать, чтобы робот сам находил сайты и индексировал. Как это реализовать?

Пробовал генерировать ссылки, но только было про индексировано только 4 из 79 сайтов, так как мало доменов вида ght8.ru

Может есть сайт, где есть список всех доменов?

5
  • врядли есть такой список...
    – thunder
    5 окт 2012 в 15:18
  • Может как-то с whois сделать?
    – atnartur
    5 окт 2012 в 15:19
  • как? это сделать
    – fast
    5 окт 2012 в 15:22
  • Fast, не могли бы Вы порекомендовать источник, где Вы читали о создании поисковой системы? 6 окт 2012 в 8:11
  • нигде я не читал =)
    – fast
    6 окт 2012 в 13:42

1 ответ 1

3

Смотрите в сторону Reverse IP Lookup, в сети много сайтов, которые предоставляют данную штуку. смысл в том, что можно узнать какие сайты/домены висят на определенном IP

вот пример: reverse ip lookup

3
  • О это идея генерировать IP и проверят сайты, спасибо
    – fast
    5 окт 2012 в 15:58
  • по этой ссылке выведутся все сайты/домены, которые висят на адресе 77.221.130.12
    – thunder
    5 окт 2012 в 15:58
  • да пожалуйста)
    – thunder
    5 окт 2012 в 15:59

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.