Кто-нибудь знает откуда поисковые системы узнают о новых сайтах (доменах)? Если, к примеру, никто не сообщал о сайте в панели вебмастера поисковой системы и не ссылался на этот сайт. Хотя он через какое-то время появляется в индексе.
-
Браузеры некоторые отсылают сведения поисковикам. Ну к примеру Chrome в google и т.д..– ModaL3 мар 2016 в 15:58
-
Я кажется догадался откуда. Кроме браузера Google Chrome. Например если кто-то работал в firefox или неизвестном браузере. Тот, кто хочет проверить, есть ли сайт в индексе, в любом случае вбивает домен сайта в строку поисковика и он таким образом сохраняется в истории поисковика– Павел Игорев3 мар 2016 в 16:03
-
Либо (думаю скорее всего) топовые поисковики имеют договоренность с главным администратором базы данных доменов. И качают из этой базы (база регистраторов, главного регистратора)– Павел Игорев3 мар 2016 в 16:05
2 ответа
Данные из браузеров. Когда разработчик делает свой сайт, он часто на него заходит. Браузер все это собирает. Google Chrome - Google. Internet Explorer, Edge - bing. Yandex.Browser - Yandex. Некоторые поисковики пользуются базами Google и Yandex. Регистраторы доменов. У них на сайте есть ссылки. Потом еще возможно когда человек регистрирует домен, ему на почту регистратор отправляет письмо со счетом о покупке. Компании проверяют эти письма, спам или не спам. И т.д. А в письмах есть ссылки, робот на них переходит и проверяет. Потом еще у меня такое было, что кидаю ссылку в вк кому то из друзей и вижу что робот ООО "Вконтакте" заходил на сайт. Не исключено что так и с письмами на почту.
-
Откуда у некоторых поисковиков база google и yandex? Они просто берут и делятся с ними, сомневаюсь? 3 мар 2016 в 16:14
-
@ПавелИгорев Например Rambler.ru использует поисковую базу Yandex. seob.info/indexing-site-poiskov-sistem-addurl.html– SkiesX3 мар 2016 в 16:22
-
@ПавелИгорев это скорее не непосредственное "делятся базой", саму информацию они вряд ли получают. Это скорее как "предоставляют поисковую службу".– user1811003 мар 2016 в 16:23
-
-
@ПавелИгорев, историю запросов смотрите. У роботов обычно довольно специфичный user agent. 3 мар 2016 в 17:00
Существует ф-ция на многих админках - не выдывать в поиске. Тоесть, сайт НЕ будет ни при каких условиях появлятся. Если на сайте не стоит эта ф-ция, то при входе на сайт с ЛЮБОГО браузера, данные сразу отправятся в Сеть. Так что, это может быть разраб, ссылки, реклама, знакомые и т.д.
-
Но все равно, это уже добрая воля поисковика - не выдавать в поиске. Если ему откуда-то известно о домене, он впринципе может выдать. Только непонятно "если на сайте не стоит эта ф-ция, то при входе на сайт с ЛЮБОГО браузера, данные сразу отправятся в Сеть" - куда именно, в какую сеть? 3 мар 2016 в 16:10
-
В Сеть - подразумевалась Всемирная Паутина) В частности, например, браузеры отправляют в разном виде, самим поисковикам напрямую, сохраняют в БД, и т.п. 3 мар 2016 в 16:14
-
Браузеры, которые не имеют собственных поисковиков(совместной кампании), также отправляют инфу, поисковики без браузеров часто заключают контракт с Google/Bing/Yandex, т.д. 3 мар 2016 в 16:15