Вопросы с меткой [robots.txt]
Вопросы связанные с созданием и использованием Robots.txt, в т.ч. с индексацией сайта поисковыми системами.
75
вопросов
0
голосов
0
ответов
18
показов
Как правильно настроить htaccess под поисковые системы?
У меня есть сайт, на котором появляются товары, под каждый товар создаётся страница. Через определенное время, этот товар может быть удалён, а поисковый робот эту страницу уже просканирует и при ...
0
голосов
1
ответ
66
показов
Как избавиться от страниц-дублей с разными GET-параметрами
Сегодня яндекс прислал:
Здравствуйте!
На вашем сайте https://сайт.ru некоторые страницы с GET-параметрами в
URL дублируют содержимое других страниц (без GET-параметров).
Например, https://example.com/...
0
голосов
0
ответов
34
показа
Как отключить индексирование сайта?
В Гугле и в Яндексе у меня индексируется сайт. Я захотел отключить индексирование сайта, в robots.txt сделал такую запись
User-agent: *
Disallow: /
Достаточно ли этого, чтобы он не отображался в ...
0
голосов
0
ответов
29
показов
Как закрыть от индексации дубли страниц городов сайта
Нужно закрыть от индексации дубли страниц городов:
/novosibirsk/catalog
/sankt-peterburg/catalog
/ufa/catalog
/samara/catalog
но при этом оставить открытым страницу /catalog
Подскажите, пожалуйста, ...
0
голосов
1
ответ
29
показов
Страницы не закрываются от индексации
Закрыл от индексации несколько URL, добавив в robots.txt следующие строки
Disallow: /warranty/
Disallow: /payment/
Disallow: /patent/
Но screaming frog и яндекс вебмастер по-прежнему утверждают, что ...
0
голосов
0
ответов
12
показов
Как мне правильно поставить и запустить код с библиотекой RobotPy или WPILib?
Так, есть фреймворк WPILib это для программирования робота так вот и у него есть Project Creator где можно создать проект и вот когда ты создаешь проект то там просят выбрать язык и есть два варианта ...
0
голосов
0
ответов
82
показа
Vue & robots.txt. Как скрыть разделы сайта и проверить результат?
Нужно скрыть раздел сайта www.site-name.com/#/en/terms от индексации поисковиками, остальные оставить доступными. Как можно это сделать и проверить результат?
Сайт на Vue3 (Options API), используется ...
0
голосов
1
ответ
111
показов
Как открыть индексацию только одной страницы сайта
У меня сайт на этапе разработки. Хочу открыть индексацию страниц по мере их готовности. Сейчас сайт полностью закрыт от индексации.
User-agent: *
Disallow: /
Подскажите, пожалуйста, как разрешить ...
0
голосов
1
ответ
54
показа
Как закрыть от индексации страницы
Нужно закрыть от индексации след. страницы:
/catalog/?q=Стулья+офисные&s=Найти
/catalog/?q=сонома&s=Найти
/catalog/?section_id=1314&q=Подушка+&how=r
/catalog/divany-i-kresla/vse-divany/...
0
голосов
0
ответов
85
показов
Разрешить индексацию favicon, при запрете индексации всего остального сайта
Всем привет, мой первый пост на stackoverflow
В чем суть:
Для роботов закрыта индексация на сайте через файл robots.txt
Вот что в файле:
User-Agent: *
Disallow: /
Но при таком раскладе блокируеся ...
0
голосов
1
ответ
82
показа
Какая директива для Google заменяет директиву Clean-param в Яндексе
Доброго времени суток.
Есть задача закрыть от индексации в Google и Яндекс след. ссылки
...blog/?year=2021
...blog/?year=2022
...blog/?year=2016
Если параметр Get не меняет содержимое страницы, ...
0
голосов
0
ответов
83
показа
Не работает robots.txt на Django
У меня проблема с robots.txt, на локальном запуске всё нормально открывается, но после деплоя на хостинг /robots.txt перестал работать, а остальные /polls и /admin работают отлично
Page not found (404)...
0
голосов
0
ответов
58
показов
На django на работает robots.txt
В url.py прописал
path("robots.txt", TemplateView.as_view(template_name="robots.txt", content_type="text/plain"),
но по пути
http://127.0.0.1:8000/robots.txt
страница ...
1
голос
1
ответ
169
показов
Как запретить индексацию с get параметром "?url"?
Как запретить индексацию с get параметром "?url" в Robots.txt
То есть чтобы всё после ?url не индексировалось
0
голосов
0
ответов
62
показа
VueJS и Google robot - We're sorry but <domain> doesn't work properly without JavaScript enabled. Please enable it to continue
Как подружить приложение VueJs с роботом Google
1
голос
2
ответа
2k
показов
Как запретить индексацию всех страниц с определенным get-параметром в robots.txt?
Яндекс пожаловался на то, что присутствует некоторое кол-во дубликатов страниц с get-параметром.
Ссылка на подобную страницу выглядит примерно так: site.ru/blog/article?layout=new
Параметр всегда ...
0
голосов
0
ответов
25
показов
Не подменяется robots.txt в wordpress
Я наблюдаю старую версию robots даже после замены ее физически и плагином robots.txt editor. Ощущение что он в кеше где-то, но я уверен что кеш очищен и со стороны хостинга кеша тоже нет.
Кеш на сайте ...
0
голосов
2
ответа
44
показа
Нужно ли закрывать от поисковиков файлы и архивы?
На сайте есть ссылки на скачиваемые файлы, например документ PDF и архив ZIP. Поисковики их определяют как отдельные страницы и индексируют (например "/files/example.pdf"). Нужно ли ...
0
голосов
0
ответов
36
показов
robot.txt запрещает просканировать изображения
В MerchantCenter не могу залить фид данных. Ругается, что robots.txt запрещает просканировать изображения товаров.
Что нужно прописать или разрешить в robots.txt? OpenCart.
User-agent: *
Disallow: /*...
0
голосов
1
ответ
405
показов
Переадресация robots.txt на php в nginx
Есть сервер CentOS с nginx.
Нужно сделать динамический robots.txt.
Для этого сделал robots.php и переадресацию на него для robots.txt,
но если вызывать site.ru/robots.txt то этот robots.php не ...
1
голос
0
ответов
60
показов
Разный robots.txt joomla 3.x. на страницах
Всем привет друзья.
Не могу разобраться.
robots.txt по ссылке перехожу получаю Мой роботс с изменениями.
User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
...
0
голосов
2
ответа
90
показов
Как запретить в robots ссылки у которых на конце .html?
Собственно вопрос в заголовке. В интернете не смог найти примера-решения.
Есть сайт который раньше был статическим, теперь он динамический на php и в конце ссылок отсутствует расширение .html, но в ...
0
голосов
1
ответ
27
показов
Закрыть от индексации папку, которая повторяется в разных каталогах
Есть сайт и в каждом разделе размещена папка admin.
Если прописываю Disallow: /admin/, закрывает индексацию только в одном разделе - site.com/admin/, а в остальных разделах остается открытой.
...
0
голосов
1
ответ
36
показов
Как запретить индексировать уровни вложенности ссылок в robots или htaccess?
Всем привет!
Есть сайт у которого все актуальные ссылки имеют примерно такой вид https://teplo-garant.com/zip, т.е. https://домен/контентнаястраница.
Но в индекс залезли такие ссылки типа https://...
1
голос
0
ответов
140
показов
Сайт не видит sitemap
помогите пожалуйста разобраться в проблеме.
Создал файл sitemap.xml, с ним все ок, прогнал по специальным сервисам, ошибок нет, залил в корневую директорию сайта там где лежит robots.txt
В роботе ...
0
голосов
1
ответ
206
показов
Как правильно сгенерировать robots.txt Symfony 4?
Подскажите есть ли готовое решение по генерации robots.txt для Symfony 4 (если быть точным 4.3.11)? Готовых бандлов практически нет, а те которые нашел - устарели и "завести" их у меня не ...
4
голоса
1
ответ
169
показов
Что именно показывает ссылка, вставленная в Google translate?
Мой коллега - специалист по SEO, говорит, что ссылка, которая установлена в переводчике Google, может показать, как выглядит сайт для поискового робота. Подскажите, насколько это правда? Что именно ...
1
голос
1
ответ
56
показов
robots.txt разрешить индексировать всё и всем роботам
Как правильно разрешить всем роботам индесировать всё:
User-agent: *
Allow: /
или
User-agent: *
Disallow:
или нет разницы?
0
голосов
0
ответов
38
показов
Как убрать дубль главной страницы сайта?
В Вэбмастере Яндекса и в поиске Яндекса у моего сайта две страницы. https://site.ru
и https://site.ru/index.php При переходе по второму адресу(https://site.ru/index.php) настроен 301-й редирект на ...
0
голосов
1
ответ
165
показов
Разрешить элемент в .htaccess
для продвижения в поисковиках нужно настроить файл robots.txt. Я настроил, но так как у меня есть важные файлы в .txt формате, я его закрыл в .htaccess
Помогите сделать исключение для robots.txt, ну ...
0
голосов
0
ответов
280
показов
AMP разрешить доступ к странице в robots.txt
как разрешить доступ к странице amp в robots.txt?
пример сыылки site.ru/amp?page=poslednyaya-novost
прописываю так для робота гугла, но не срабатывает
User-agent: Googlebot
Allow: */amp
0
голосов
1
ответ
66
показов
robot.txt индексировать сайты как разные
Есть 1000 доменных имен.В зависимости от запроса пользователя, выдается определенный контент.Пример:
1. site2.com - один контент
2. site3.com - другой контент
3. и т.д.
У всех доменов один и тот ...
0
голосов
1
ответ
33
показа
Запретить индексации с одного из доменов
Есть сайт, который доступен по следующим доменам:
http://www.consult-unity.ru/
https://consult-unity.ru
https://studentprograms.ru
Как сделать запрет на индексацию по доменам:
http://www.consult-...
0
голосов
2
ответа
62
показа
Как исключить из списка определенный текст?
Дано 9000 url ссылок в формате CSV либо txt (есть и тот и тот). Есть еще один список url ссылок (300 шт). Задача из первого списка исключить второй при том, что все ссылки в первом списке в хаотичном ...
-1
голос
1
ответ
109
показов
Поиск в файле php [закрыт]
Есть txt файл. В нём 3 строки:
Как дела?\Нормально\0 ( тут будет перенос коретки \n)
Что делаешь?\ничего\0 ( тут будет перенос коретки \n)
Как погода?\Ужасно\0 ( тут будет перенос коретки \n)
...
0
голосов
0
ответов
395
показов
Не обновляется robots txt в url
Всем привет. Отредактировал файл robots txt и sitemap, залил на сервер, но по url site.com.ua/robots.txt и site.com.ua/sitemap.xml выводятся старые данные до обновления. Чистил весь возможный кеш, но ...
0
голосов
1
ответ
103
показа
Файлы Sitemap.xml в robots.txt
На сайте интернет-магазина генерируется около 100 файлов sitemap.xml
также генерируется файл siteindex.xml где указаны все ссылки на sitemap.xml
Как правильно указать это в файле robots.txt? Каждый ...
2
голоса
0
ответов
118
показов
Как скрыть проверку внешних ссылок сервисами?
Как запретить/спрятать проверку внешних ссылок на сайт от Ahrefs, megaindex и прочих сервисов? Для ботов, конечно все должно быть доступно.
0
голосов
2
ответа
51
показ
Зпретить индексацию сайта - robots.txt
Как запретить индексацию сайта, поисковыми ботами с такой ссылкой
site.ru/post-gigant-3.html?ordering=date_pub&orderto=asc
Где присутствует такое
?ordering=date_pub&orderto=asc
поисковик ...
0
голосов
0
ответов
628
показов
Плагин polylang создает избыточные страницы языков - как из удалить из видимости?
Есть сайт на wordpress с установленным мультиязычным плагином Polylang. Недавно обнаружил, что оказывается он помимо самой страницы записей https://site.com/ru/страница-записей создал создал ...
0
голосов
1
ответ
182
показа
robots.txt не могу найти ошибку
Проверяю robots.txt через Яндекс и он выдает кучу непонятных ошибок такого рода
Правило начинается не с символа '/' и не с символа '*' вот сам код:
User-agent: Yandex
Crawl-delay: 2
Disallow: loca.kg/...
0
голосов
2
ответа
926
показов
преобразовать txt в dictionary
есть несколько "txt" файлов, строка содержит название города, число – количество жителей в городе.
Как их преобразовать в Dictionary<string, int>, что бы потом их соединить в один txt?
...
0
голосов
0
ответов
380
показов
директивы Robots.txt с закрывающим слэшем и без него
Подскажите, будьте добры.
Есть туча страниц на сайте с таким url
https://site.ru/region/14/18
И осталась вторая туча страниц с закрывающим слэшем в конце
https://site.ru/region/14/18/
(с них ...
1
голос
1
ответ
659
показов
robots.txt запретить url по параметру
Не могу решить проблему с закрытием определенных страниц от индексации в robots.txt
url имеют такой вид:
https://site.info/map?page=stroitelstvo-shkoly&language=en
https://site.info/map?page=...
0
голосов
2
ответа
190
показов
Повлияет ли закрытие доступа к каталогу (Disallow: /images/) через robots.txt на индексацию изображений.
К примеру есть ссылка site.ru/images/ данный адрес нужно запретить для поисковиков но в этом каталоге находятся изображения - повлияет ли это действие на индексацию в поисковиувх изображений ...
0
голосов
0
ответов
125
показов
Необходимо в APACHE указать другой robot.txt
Robot.txt зашит в код hybris. Есть необходимость, не меняя кода, сделать пересылку запросов site.dom/robot.txt, приходящих на apache, на локальный файл /home/apache/robot.txt
Что то вот такого плана: ...
2
голоса
2
ответа
64
показа
Robots.txt Error
При поиске сайта выдает такую ошибку:
A description for this result is not available because of this site's
robots.txt
http://prntscr.com/g79as9 - Google
http://prntscr.com/g79dpp - Код
1
голос
2
ответа
1k
показов
Регулярные выражения в robots.txt
Как я могу закрыть от индексации страницы, начинающие с цифр.
Например, есть:
www.domeins.ru/category/12354
www.domeins.ru/category/4548
www.domeins.ru/category/65
www.domeins.ru/category/4567897
...
0
голосов
1
ответ
35
показов
Ошибки проверки вебмастером
Ошибки при индексировании, вызванные внутренними (дочерними) страницами сайта, можно исправить, добавив нужные страницы их в robots.txt
Есть ли похожее решение для страниц, которые не являются ...
-1
голос
1
ответ
551
показ
Как убрать из индексации тестовый сайт?
Надо удалить из индекса яндекса страницы тестового домена. Тестовый и основной домен - для одного сайта, поэтому файл robots.txt один. Как в robots.txt указать запрет именно тестового файла?
тестовый ...