1

Не могу решить проблему с закрытием определенных страниц от индексации в robots.txt

url имеют такой вид:

https://site.info/map?page=stroitelstvo-shkoly&language=en

https://site.info/map?page=sevastopol&language=en

Я пытаюсь в панели вебмастера запретить индексировать все страницы англоязычной версии, и не могу этого сделать. Заявка на удаление имеет статус "отклонено". Поискала причину, народ пишет, дело в том, что в robots.txt эти страницы не запрещены.

Отсюда вопрос: как мне прописать директиву, запрещающую индексацию всех страниц, содержащих в url слово "language"?

Пробовала Disallow:/*language*, Disallow:/?language и Disallow:/&language

Ибо там, по словам программиста, какие-то еще тараканы с заменой ? на &. Все равно в Я.Вебмастере вижу эти страницы открытыми для индексации. И, соответственно, там тоже не могу удалить эти url. Подскажите, что нужно написать в robots.txt в моем случае.

Спасибо!

1 ответ 1

1

Использование спецсимволов * и $

При указании путей директив Allow и Disallow можно использовать спецсимволы * и $, задавая, таким образом, определенные регулярные выражения. Спецсимвол * означает любую (в том числе пустую) последовательность символов.

User-agent: *
Disallow: /*&language=en
#Запретит все страницы, содержащие &language=en

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.