Вопросы с меткой [robots.txt]

Вопросы связанные с созданием и использованием Robots.txt, в т.ч. с индексацией сайта поисковыми системами.

Фильтрация
Сортировка
Метки
0 голосов
0 ответов
18 показов

Как правильно настроить htaccess под поисковые системы?

У меня есть сайт, на котором появляются товары, под каждый товар создаётся страница. Через определенное время, этот товар может быть удалён, а поисковый робот эту страницу уже просканирует и при ...
Sice60's user avatar
  • 77
0 голосов
1 ответ
66 показов

Как избавиться от страниц-дублей с разными GET-параметрами

Сегодня яндекс прислал: Здравствуйте! На вашем сайте https://сайт.ru некоторые страницы с GET-параметрами в URL дублируют содержимое других страниц (без GET-параметров). Например, https://example.com/...
Николай's user avatar
0 голосов
0 ответов
34 показа

Как отключить индексирование сайта?

В Гугле и в Яндексе у меня индексируется сайт. Я захотел отключить индексирование сайта, в robots.txt сделал такую запись User-agent: * Disallow: / Достаточно ли этого, чтобы он не отображался в ...
Express's user avatar
  • 21
0 голосов
0 ответов
29 показов

Как закрыть от индексации дубли страниц городов сайта

Нужно закрыть от индексации дубли страниц городов: /novosibirsk/catalog /sankt-peterburg/catalog /ufa/catalog /samara/catalog но при этом оставить открытым страницу /catalog Подскажите, пожалуйста, ...
Незнайка's user avatar
0 голосов
1 ответ
29 показов

Страницы не закрываются от индексации

Закрыл от индексации несколько URL, добавив в robots.txt следующие строки Disallow: /warranty/ Disallow: /payment/ Disallow: /patent/ Но screaming frog и яндекс вебмастер по-прежнему утверждают, что ...
Незнайка's user avatar
0 голосов
0 ответов
12 показов

Как мне правильно поставить и запустить код с библиотекой RobotPy или WPILib?

Так, есть фреймворк WPILib это для программирования робота так вот и у него есть Project Creator где можно создать проект и вот когда ты создаешь проект то там просят выбрать язык и есть два варианта ...
Азам Негматов's user avatar
0 голосов
0 ответов
82 показа

Vue & robots.txt. Как скрыть разделы сайта и проверить результат?

Нужно скрыть раздел сайта www.site-name.com/#/en/terms от индексации поисковиками, остальные оставить доступными. Как можно это сделать и проверить результат? Сайт на Vue3 (Options API), используется ...
Lyrklif's user avatar
0 голосов
1 ответ
111 показов

Как открыть индексацию только одной страницы сайта

У меня сайт на этапе разработки. Хочу открыть индексацию страниц по мере их готовности. Сейчас сайт полностью закрыт от индексации. User-agent: * Disallow: / Подскажите, пожалуйста, как разрешить ...
user512643's user avatar
0 голосов
1 ответ
54 показа

Как закрыть от индексации страницы

Нужно закрыть от индексации след. страницы: /catalog/?q=Стулья+офисные&s=Найти /catalog/?q=сонома&s=Найти /catalog/?section_id=1314&q=Подушка+&how=r /catalog/divany-i-kresla/vse-divany/...
user512643's user avatar
0 голосов
0 ответов
85 показов

Разрешить индексацию favicon, при запрете индексации всего остального сайта

Всем привет, мой первый пост на stackoverflow В чем суть: Для роботов закрыта индексация на сайте через файл robots.txt Вот что в файле: User-Agent: * Disallow: / Но при таком раскладе блокируеся ...
Mikhail Monakhov's user avatar
0 голосов
1 ответ
82 показа

Какая директива для Google заменяет директиву Clean-param в Яндексе

Доброго времени суток. Есть задача закрыть от индексации в Google и Яндекс след. ссылки ...blog/?year=2021 ...blog/?year=2022 ...blog/?year=2016 Если параметр Get не меняет содержимое страницы, ...
Эдгар Овсепян's user avatar
0 голосов
0 ответов
83 показа

Не работает robots.txt на Django

У меня проблема с robots.txt, на локальном запуске всё нормально открывается, но после деплоя на хостинг /robots.txt перестал работать, а остальные /polls и /admin работают отлично Page not found (404)...
Dragon's play's user avatar
0 голосов
0 ответов
58 показов

На django на работает robots.txt

В url.py прописал path("robots.txt", TemplateView.as_view(template_name="robots.txt", content_type="text/plain"), но по пути http://127.0.0.1:8000/robots.txt страница ...
KorsarD's user avatar
  • 46
1 голос
1 ответ
169 показов

Как запретить индексацию с get параметром "?url"?

Как запретить индексацию с get параметром "?url" в Robots.txt То есть чтобы всё после ?url не индексировалось
OTMEHA's user avatar
  • 15
0 голосов
0 ответов
62 показа

VueJS и Google robot - We're sorry but <domain> doesn't work properly without JavaScript enabled. Please enable it to continue

Как подружить приложение VueJs с роботом Google
Sanya H's user avatar
  • 1,369
1 голос
2 ответа
2k показов

Как запретить индексацию всех страниц с определенным get-параметром в robots.txt?

Яндекс пожаловался на то, что присутствует некоторое кол-во дубликатов страниц с get-параметром. Ссылка на подобную страницу выглядит примерно так: site.ru/blog/article?layout=new Параметр всегда ...
Alex's user avatar
  • 44
0 голосов
0 ответов
25 показов

Не подменяется robots.txt в wordpress

Я наблюдаю старую версию robots даже после замены ее физически и плагином robots.txt editor. Ощущение что он в кеше где-то, но я уверен что кеш очищен и со стороны хостинга кеша тоже нет. Кеш на сайте ...
Sudo Trololo's user avatar
0 голосов
2 ответа
44 показа

Нужно ли закрывать от поисковиков файлы и архивы?

На сайте есть ссылки на скачиваемые файлы, например документ PDF и архив ZIP. Поисковики их определяют как отдельные страницы и индексируют (например "/files/example.pdf"). Нужно ли ...
Mitorun's user avatar
  • 33
0 голосов
0 ответов
36 показов

robot.txt запрещает просканировать изображения

В MerchantCenter не могу залить фид данных. Ругается, что robots.txt запрещает просканировать изображения товаров. Что нужно прописать или разрешить в robots.txt? OpenCart. User-agent: * Disallow: /*...
Anton Kirienko's user avatar
0 голосов
1 ответ
405 показов

Переадресация robots.txt на php в nginx

Есть сервер CentOS с nginx. Нужно сделать динамический robots.txt. Для этого сделал robots.php и переадресацию на него для robots.txt, но если вызывать site.ru/robots.txt то этот robots.php не ...
Boulatov's user avatar
1 голос
0 ответов
60 показов

Разный robots.txt joomla 3.x. на страницах

Всем привет друзья. Не могу разобраться. robots.txt по ссылке перехожу получаю Мой роботс с изменениями. User-agent: * Disallow: /administrator/ Disallow: /bin/ Disallow: /cache/ Disallow: /cli/ ...
Boris's user avatar
  • 191
0 голосов
2 ответа
90 показов

Как запретить в robots ссылки у которых на конце .html?

Собственно вопрос в заголовке. В интернете не смог найти примера-решения. Есть сайт который раньше был статическим, теперь он динамический на php и в конце ссылок отсутствует расширение .html, но в ...
Кариот's user avatar
0 голосов
1 ответ
27 показов

Закрыть от индексации папку, которая повторяется в разных каталогах

Есть сайт и в каждом разделе размещена папка admin. Если прописываю Disallow: /admin/, закрывает индексацию только в одном разделе - site.com/admin/, а в остальных разделах остается открытой. ...
Чайник's user avatar
0 голосов
1 ответ
36 показов

Как запретить индексировать уровни вложенности ссылок в robots или htaccess?

Всем привет! Есть сайт у которого все актуальные ссылки имеют примерно такой вид https://teplo-garant.com/zip, т.е. https://домен/контентнаястраница. Но в индекс залезли такие ссылки типа https://...
ARTISUC's user avatar
  • 96
1 голос
0 ответов
140 показов

Сайт не видит sitemap

помогите пожалуйста разобраться в проблеме. Создал файл sitemap.xml, с ним все ок, прогнал по специальным сервисам, ошибок нет, залил в корневую директорию сайта там где лежит robots.txt В роботе ...
Alex flex's user avatar
0 голосов
1 ответ
206 показов

Как правильно сгенерировать robots.txt Symfony 4?

Подскажите есть ли готовое решение по генерации robots.txt для Symfony 4 (если быть точным 4.3.11)? Готовых бандлов практически нет, а те которые нашел - устарели и "завести" их у меня не ...
Сергей's user avatar
4 голоса
1 ответ
169 показов

Что именно показывает ссылка, вставленная в Google translate?

Мой коллега - специалист по SEO, говорит, что ссылка, которая установлена в переводчике Google, может показать, как выглядит сайт для поискового робота. Подскажите, насколько это правда? Что именно ...
BlackStar1991's user avatar
1 голос
1 ответ
56 показов

robots.txt разрешить индексировать всё и всем роботам

Как правильно разрешить всем роботам индесировать всё: User-agent: * Allow: / или User-agent: * Disallow: или нет разницы?
87979's user avatar
  • 11
0 голосов
0 ответов
38 показов

Как убрать дубль главной страницы сайта?

В Вэбмастере Яндекса и в поиске Яндекса у моего сайта две страницы. https://site.ru и https://site.ru/index.php При переходе по второму адресу(https://site.ru/index.php) настроен 301-й редирект на ...
Arcadiy's user avatar
  • 843
0 голосов
1 ответ
165 показов

Разрешить элемент в .htaccess

для продвижения в поисковиках нужно настроить файл robots.txt. Я настроил, но так как у меня есть важные файлы в .txt формате, я его закрыл в .htaccess Помогите сделать исключение для robots.txt, ну ...
user avatar
0 голосов
0 ответов
280 показов

AMP разрешить доступ к странице в robots.txt

как разрешить доступ к странице amp в robots.txt? пример сыылки site.ru/amp?page=poslednyaya-novost прописываю так для робота гугла, но не срабатывает User-agent: Googlebot Allow: */amp
Ssasha's user avatar
  • 139
0 голосов
1 ответ
66 показов

robot.txt индексировать сайты как разные

Есть 1000 доменных имен.В зависимости от запроса пользователя, выдается определенный контент.Пример: 1. site2.com - один контент 2. site3.com - другой контент 3. и т.д. У всех доменов один и тот ...
Bigmama's user avatar
0 голосов
1 ответ
33 показа

Запретить индексации с одного из доменов

Есть сайт, который доступен по следующим доменам: http://www.consult-unity.ru/ https://consult-unity.ru https://studentprograms.ru Как сделать запрет на индексацию по доменам: http://www.consult-...
Kolhoznik's user avatar
  • 1,055
0 голосов
2 ответа
62 показа

Как исключить из списка определенный текст?

Дано 9000 url ссылок в формате CSV либо txt (есть и тот и тот). Есть еще один список url ссылок (300 шт). Задача из первого списка исключить второй при том, что все ссылки в первом списке в хаотичном ...
Артур Крячко's user avatar
-1 голос
1 ответ
109 показов

Поиск в файле php [закрыт]

Есть txt файл. В нём 3 строки: Как дела?\Нормально\0 ( тут будет перенос коретки \n) Что делаешь?\ничего\0 ( тут будет перенос коретки \n) Как погода?\Ужасно\0 ( тут будет перенос коретки \n) ...
Константин Соколов's user avatar
0 голосов
0 ответов
395 показов

Не обновляется robots txt в url

Всем привет. Отредактировал файл robots txt и sitemap, залил на сервер, но по url site.com.ua/robots.txt и site.com.ua/sitemap.xml выводятся старые данные до обновления. Чистил весь возможный кеш, но ...
Aleksandr's user avatar
0 голосов
1 ответ
103 показа

Файлы Sitemap.xml в robots.txt

На сайте интернет-магазина генерируется около 100 файлов sitemap.xml также генерируется файл siteindex.xml где указаны все ссылки на sitemap.xml Как правильно указать это в файле robots.txt? Каждый ...
Андрей Крупа's user avatar
2 голоса
0 ответов
118 показов

Как скрыть проверку внешних ссылок сервисами?

Как запретить/спрятать проверку внешних ссылок на сайт от Ahrefs, megaindex и прочих сервисов? Для ботов, конечно все должно быть доступно.
Otkambinok's user avatar
0 голосов
2 ответа
51 показ

Зпретить индексацию сайта - robots.txt

Как запретить индексацию сайта, поисковыми ботами с такой ссылкой site.ru/post-gigant-3.html?ordering=date_pub&orderto=asc Где присутствует такое ?ordering=date_pub&orderto=asc поисковик ...
Позитив онлайн's user avatar
0 голосов
0 ответов
628 показов

Плагин polylang создает избыточные страницы языков - как из удалить из видимости?

Есть сайт на wordpress с установленным мультиязычным плагином Polylang. Недавно обнаружил, что оказывается он помимо самой страницы записей https://site.com/ru/страница-записей создал создал ...
Вася's user avatar
  • 4,488
0 голосов
1 ответ
182 показа

robots.txt не могу найти ошибку

Проверяю robots.txt через Яндекс и он выдает кучу непонятных ошибок такого рода Правило начинается не с символа '/' и не с символа '*' вот сам код: User-agent: Yandex Crawl-delay: 2 Disallow: loca.kg/...
Aziret  Kadykeev's user avatar
0 голосов
2 ответа
926 показов

преобразовать txt в dictionary

есть несколько "txt" файлов, строка содержит название города, число – количество жителей в городе. Как их преобразовать в Dictionary<string, int>, что бы потом их соединить в один txt? ...
DEVELOPER's user avatar
0 голосов
0 ответов
380 показов

директивы Robots.txt с закрывающим слэшем и без него

Подскажите, будьте добры. Есть туча страниц на сайте с таким url https://site.ru/region/14/18 И осталась вторая туча страниц с закрывающим слэшем в конце https://site.ru/region/14/18/ (с них ...
Наталья's user avatar
1 голос
1 ответ
659 показов

robots.txt запретить url по параметру

Не могу решить проблему с закрытием определенных страниц от индексации в robots.txt url имеют такой вид: https://site.info/map?page=stroitelstvo-shkoly&language=en https://site.info/map?page=...
Наталья's user avatar
0 голосов
2 ответа
190 показов

Повлияет ли закрытие доступа к каталогу (Disallow: /images/) через robots.txt на индексацию изображений.

К примеру есть ссылка site.ru/images/ данный адрес нужно запретить для поисковиков но в этом каталоге находятся изображения - повлияет ли это действие на индексацию в поисковиувх изображений ...
OG.'s user avatar
  • 7
0 голосов
0 ответов
125 показов

Необходимо в APACHE указать другой robot.txt

Robot.txt зашит в код hybris. Есть необходимость, не меняя кода, сделать пересылку запросов site.dom/robot.txt, приходящих на apache, на локальный файл /home/apache/robot.txt Что то вот такого плана: ...
Zak Shirak's user avatar
2 голоса
2 ответа
64 показа

Robots.txt Error

При поиске сайта выдает такую ошибку: A description for this result is not available because of this site's robots.txt http://prntscr.com/g79as9 - Google http://prntscr.com/g79dpp - Код
Arman Ghazaryan's user avatar
1 голос
2 ответа
1k показов

Регулярные выражения в robots.txt

Как я могу закрыть от индексации страницы, начинающие с цифр. Например, есть: www.domeins.ru/category/12354 www.domeins.ru/category/4548 www.domeins.ru/category/65 www.domeins.ru/category/4567897 ...
Taron's user avatar
  • 127
0 голосов
1 ответ
35 показов

Ошибки проверки вебмастером

Ошибки при индексировании, вызванные внутренними (дочерними) страницами сайта, можно исправить, добавив нужные страницы их в robots.txt Есть ли похожее решение для страниц, которые не являются ...
Tarasovych's user avatar
-1 голос
1 ответ
551 показ

Как убрать из индексации тестовый сайт?

Надо удалить из индекса яндекса страницы тестового домена. Тестовый и основной домен - для одного сайта, поэтому файл robots.txt один. Как в robots.txt указать запрет именно тестового файла? тестовый ...
дмитрий's user avatar