2

На сайте работает ЧПУ, но гугль всеравно лезит сканировать ссылки типа /index.php?variable=value. От куда он хавает ссылки эти даже ума не приложу. Ставил header location на случай если в урле присутствует знак "?". Переадресация работает и по сей день, но это не есть хорошо для сайта, т.к. поисковик лезет индексировать битые ссылки вместо того чтобы индексировать то что ему говорят...

Короче ближе к сути. Как составить правильный запрет на индексацию всего что находится после .php?

Следующее решение будет верным?

Disallow: /index.php*

2 ответа 2

4

я как-то делал что-то вроде:

Disallow: /profile.php?username=*

Работало корректно, на сколько помню :)

3
  • попробую, но мне вообще нужно все вырубить после .php
    – Palmervan
    26 дек 2011 в 12:26
  • Вообще на сколько я помню в robots.txt должны поддерживаться полностью регулярки.
    – Shamanis
    26 дек 2011 в 12:30
  • Пока попробую своим примером, сейчас отправлю , бота схавать новый robots, будет видно. Спасибо.
    – Palmervan
    26 дек 2011 в 12:34
2
User-agent: * 
Disallow: /*?твоя переменная* 
ну или
Disallow: /*.php // запретить индексацию всех php файлов встреченных в url

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.