0

Собственно вопрос в заголовке. В интернете не смог найти примера-решения.

Есть сайт который раньше был статическим, теперь он динамический на php и в конце ссылок отсутствует расширение .html, но в индекс то попадают то выпадают старые ссылки с этим расширением. Хочу запретить это в роботсе, кто знает как это сделать?

2 ответа 2

0

User-agent: *
Disallow: /~user/site/

или...

каждый .html выборочно:

User-agent: *
Disallow: /~user/site/foo.html

Источник: https://www.robotstxt.org/robotstxt.html

0

Поскольку в тегах указан .htaccess рискнуть предложить такой вариант:

RewriteEngine On
RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^([^\.]+)$ $1.html [NC,L]

Так будут работать старые ссылки, а робот постепенно перенесет все в новый формат. В варианте robot.txt старые ссылки останутся не рабочими.

Есть еще вариант: Убрать .html во всех файлах статичного сайта

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.