для продвижения в поисковиках нужно настроить файл robots.txt. Я настроил, но так как у меня есть важные файлы в .txt формате, я его закрыл в .htaccess
Помогите сделать исключение для robots.txt, ну или разрешить robots.txt, короче что угодно, но лишь бы можно было зайти поисковикам в этот файл.
.htaccess:
<FilesMatch "\.txt$">
Order Deny,Allow
Deny from all
</FilesMatch>
<FilesMatch "\.log$">
Order Deny,Allow
Deny from all
</FilesMatch>