0

Зашел на локальный сайт своего провайдера. Затем прописал в адресную строку следующее:

http://luga.lan/robots.txt

В ответ получил:

User-agent: Yandex
Disallow: /engine
Host: luga.net.ua

3
  • Причем тут robots.txt к параметрам http запроса ? 9 окт 2011 в 10:08
  • Угу, robots.txt - это для поисковых машин, http-запрос тут ни к чему!
    – metazet
    9 окт 2011 в 10:17
  • Что такое необязательные параметры? То, что идёт в запросе GET после знака ?, а в запросе POST в теле запроса? Или Вы имеете в виду поля заголовков запроса/ответа? Если последнее, то они описаны в стандарте протокола rfc2616 (устаревший документ rfc2608). Перевод на русский rfc2068 легко найти в интернете
    – alexlz
    9 окт 2011 в 10:32

1 ответ 1

1

Вопрос как-то странно переименовали. Это файл robots.txt, лежащий в корне сайта, в нём содержится информация о том, что можно индексировать, а что нельзя + отдельные правила.

В данном случае:

  • Указание для робота Яндекса
  • Запрещать индексацию документов (страниц, файлов), лежащих в папке /engine и во всех папках, лежащих внутри неё. ( тут она означает любую последовательность символов, она подставляется автоматически)
  • На страницах с поиском отобразить сайт как luga.net.ua

Помощью по robots.txt на Яндекс.Вебмастере

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.