2

Имеются URL /shop/show-products/153/1/10/bowmaster/date_asc/

Мне нужно, чтобы /shop/show-products/=/=/=/=/, где = - что угодно, было открыто, а по /date_asc/ он не переходил. Вместо date_asc могут быть еще другие варианты.

т.е. боты должны видеть /shop/show-products/153/1/10/bowmaster/ но не должны ходить по /shop/show-products/153/1/10/bowmaster/date_asc/


/153/1/10/bowmaster/ вот эта часть может быть любой

1 ответ 1

5

Вам нужно прочитать у яндекса как использовать robots.txt

Думаю после прочтения будет внесена ясность.

Так же рекомендую обратить внимание на инструменты вебмастера. Там есть анализатор robots.txt, он поможет найти ошибки.

Цитируя указанный ресурс, приведу пример:

Disallow: /cgi-bin/*.aspx # запрещает '/cgi-bin/example.aspx'
                          # и '/cgi-bin/private/test.aspx'
Disallow: /*private # запрещает не только '/private',
                    # но и '/cgi-bin/private'

Применимо к Вашим ссылкам:

Disallow: /shop/show-products/153/1/10/bowmaster/date_asc*

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.