Настройки индексации для следующих ботов:

 Для всех
 Яндекс
 Google
 Mail.ru


 Рабмлер
 Бинг
 Yahoo

Основной домен сайта:
Таймаут между переходами робота по страницам:

Путь к карте сайте:
Запрет индексации разделов, страниц(каждый раздел или страница с новой строки):


Готовый robots.txt (Сохраните данные в файл «robots.txt» и скопируйте в корневую папку сайта):


Данный сервис позволяет в упрощенном порядке автоматически сгенерировать файл для своего сайта. Файл robot.txt необходим для правильной индексации поисковыми системами (Google, Yandex и прочими). При помощи этого файла можно задать поисковым роботам ряд ограничений: закрыть (Disallow) или открыть (Allow) страницу от индексации, показать основной хост (директива Host), показать адрес карты сайта (файл Sitemap.xml) и многое другое. Например, закрывается страница сайта с админ-панелью, также можно исключить (Disallow) из поисковой выдачи дублирующие страницы своего сайта. Это позволит увеличить доверие сервисов к новому или старому интернет ресурсу.

Директива User-agent позволяет указывать, к какому из поисковых сервисов будет предназначена нижеприведенная настройка. С помощью этой функции в robot.txt можно полностью разрешить (запретить) индексирование всего контента своего сайта.

Сервис генерации файла Robot.txt.

Онлайн помощник для начинающих WEB-мастеров поможет быстро создать файл необходимой конфигурации для дальнейшего размещения в корневой папке каталога своего сайта. Онлайн генератор файла robot.txt с необходимыми параметрами для нового интернет ресурса создаётся за считанные секунды, достаточно только ввести необходимые данные в разделы формы.

Директивная функция Crawl-delay позволяет указывать поисковым службам частоту входа на страницы сайта. Цифровой показатель, прописанный здесь, позволит указывать интервал времени в секундах. Эта директива нужна для интернет ресурсов имеющих большое количество страниц, а так же данная директива поможет снизить нагрузку на хостинг или сервер.