0

Закрыл от индексации несколько URL, добавив в robots.txt следующие строки

Disallow: /warranty/
Disallow: /payment/
Disallow: /patent/

Но screaming frog и яндекс вебмастер по-прежнему утверждают, что на этих страницах отсутствует description. Подскажите, пожалуйста, что не так.

1 ответ 1

0

Из документации Google:

Файл robots.txt не предназначен для того, чтобы запрещать показ ваших материалов в результатах поиска Google

Из документации Яндекса:

Ограниченные в robots.txt страницы могут участвовать в поиске Яндекса.

Исходя из этого, robots.txt - просто рекомендация, а не прямой запрет для ботов

Плюсом - сторонние сервисы аналитики/диагностики сайтов могут проверять его с задержкой/кэшировать/етц. Проще всего эти моменты уточнить у поддержки конкретного сервиса

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.