0

Закрыл от индексации несколько URL, добавив в robots.txt следующие строки

Disallow: /warranty/
Disallow: /payment/
Disallow: /patent/

Но screaming frog и яндекс вебмастер по-прежнему утверждают, что на этих страницах отсутствует description. Подскажите, пожалуйста, что не так.

1 ответ 1

0

Из документации Google:

Файл robots.txt не предназначен для того, чтобы запрещать показ ваших материалов в результатах поиска Google

Из документации Яндекса:

Ограниченные в robots.txt страницы могут участвовать в поиске Яндекса.

Исходя из этого, robots.txt - просто рекомендация, а не прямой запрет для ботов

Плюсом - сторонние сервисы аналитики/диагностики сайтов могут проверять его с задержкой/кэшировать/етц. Проще всего эти моменты уточнить у поддержки конкретного сервиса

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.