1

Всем привет. У меня есть сайт, который доступен по двум адресам: mysite.com и mysite.some.com. Оба адреса ведут на один сайт.

Нужно: полностью запретить индексацию сайта для одного из доменов, например для mysite.com.

Для каждого домена, формирую свой robots.txt. Вот что пишу для домена, который нужно скрыть от индексации (mysite.com):

User-Agent: *
Disallow: /

User-Agent: Yandex
Disallow: /
Host: mysite.some.com

Но в результатах поиска Google выводится этот запрещенный домен. При том в описании написано:

Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее...

Что делать, чтобы полностью запретить индексацию для mysite.com?

2
  • Прописал код, как в примере, только для кириллического домена. Сайт не работает. Подскажите, где ошибся: RewriteCond% {HTTP_HOST} ^xn--d1abavhdn0a2a\.xn--p1ai RewriteRule ^robots\.txt$ robots_tehmedkom-rf.txt [L] Прописал, как во втором примере RewriteCond %{HTTP_HOST} ^xn--d1abavhdn0a2a\.xn--p1ai [NC] RewriteCond %{REQUEST_URI} ^/robots\.txt [NC] RewriteRule ^/robots\.txt$ xn--d1abavhdn0a2a.xn--p1ai/robots_tehmedkom-rf.txt [L] Сайт работает, но роботс.txt отдаётся не тот. Или может .htaccess не понимает домены .рф? P.S. robots.txt отдавался плагином - плагин деактивировал, файл создал.
    – Andrews32
    2 мар 2015 в 12:05
  • Если у Вас возник новый вопрос, пожалуйста, задайте его, нажав кнопку "Задать вопрос". Укажите ссылку на этот вопрос, если это обеспечивает необходимый контекст.
    – BOPOH
    5 апр 2015 в 14:14

2 ответа 2

4

Я бы поступил следующим образом...

В файл .htaccess добавляем

RewriteCond %{HTTP_HOST} ^mysite\.com
RewriteRule ^robots\.txt$ disallow.txt [L]

mysite.com понятно заменить на свой)

в корне сайта создать файл disallow.txt и записать

User-Agent: *
Disallow: /

User-Agent: Yandex
Disallow: /
Host: mysite.some.com

или что там у вас!

В итоге на этих двух сайтах файл robots.txt при запросе в адресной строке, должен быть разный!

4
  • Он у меня разный для двух доменов. На одном (mysite.some.com) разрешается, на другом (mysite.com)полный запрет индексации.
    – frops
    7 июн 2013 в 9:02
  • Так в чем тогда вопрос? Вы думали гугл во мгновение удалит из индекса все страницы в тот момент как вы добавили запрет?
    – Palmervan
    7 июн 2013 в 9:12
  • А сколько должно пройти времени, чтобы домен полностью удалился из поисковиков?
    – frops
    10 июн 2013 в 8:04
  • домен останется в результата поиска Гугла. Нужно еще обязательно в Webmaster Tools удалить * страницы.
    – Sergiks
    19 июн 2013 в 10:12
2

Google ожидает canonical url: чтобы каждая страница зеркала содержала тег link на "правильную" страницу.

<link rel="canonical" href="http://mysite.com/page123.html" />

Если требуется именно запретить индексацию, когда запрашивается определённый домен, можно подготовить две версии файла robots.txt и выдавать нужную через mod_rewrite правило, в зависимости от HOST, что-то типа (не проверял):

RewriteCond %{HTTP_HOST}    ^mysite\.site\.com [NC]
RewriteCond %{REQUEST_URI}  ^/robots\.txt [NC]
RewriteRule ^/robots\.txt$  http://mysite.site.com/robots.mysite.txt [L]
2
  • А что если через Вебмастера Google и Яндекс запретить индексацию полностью?
    – frops
    10 июн 2013 в 8:22
  • Чтобы исключить весь сайт из поиска Google, надо сделать две вещи: 1. прописать запрет в robots.txt; 2. в настройках Google/webmaster удалить из индекса *
    – Sergiks
    10 июн 2013 в 8:30

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.