2

На сайте работает ЧПУ, но гугль всеравно лезит сканировать ссылки типа /index.php?variable=value. От куда он хавает ссылки эти даже ума не приложу. Ставил header location на случай если в урле присутствует знак "?". Переадресация работает и по сей день, но это не есть хорошо для сайта, т.к. поисковик лезет индексировать битые ссылки вместо того чтобы индексировать то что ему говорят...

Короче ближе к сути. Как составить правильный запрет на индексацию всего что находится после .php?

Следующее решение будет верным?

Disallow: /index.php*

2 ответа 2

4

я как-то делал что-то вроде:

Disallow: /profile.php?username=*

Работало корректно, на сколько помню :)

3
  • попробую, но мне вообще нужно все вырубить после .php
    – Palmervan
    26 дек 2011 в 12:26
  • Вообще на сколько я помню в robots.txt должны поддерживаться полностью регулярки.
    – Shamanis
    26 дек 2011 в 12:30
  • Пока попробую своим примером, сейчас отправлю , бота схавать новый robots, будет видно. Спасибо.
    – Palmervan
    26 дек 2011 в 12:34
2
User-agent: * 
Disallow: /*?твоя переменная* 
ну или
Disallow: /*.php // запретить индексацию всех php файлов встреченных в url

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.