Инструменты - Генератор robots.txt

Часто задаваемые вопросы

Что делает этот генератор robots.txt?

+

В браузере собирает текстовый файл robots.txt: блоки User-agent с правилами Allow и Disallow, а также строки Sitemap. Результат подсвечивается, его можно скопировать или скачать как robots.txt. Тот же разбор, что в нашем валидаторе robots.txt, показывает замечания по синтаксису.

Как добавить несколько групп User-agent?

+

По умолчанию есть одна группа (часто User-agent: *). Кнопка «Добавить группу» создаёт отдельный блок с одним user-agent и своими правилами — например для Googlebot или Yandex. Между группами в файле будет пустая строка.

Как указать Allow и Disallow?

+

В каждой группе нажмите «Добавить правило», выберите Allow или Disallow и введите путь (например /admin/ или /public/). Пустой Disallow после User-agent: * означает «не запрещать ничего». Несколько правил в одной группе выводятся по порядку.

Как добавить Sitemap?

+

В блоке «Sitemap» вставьте абсолютные URL карт сайта — по одному на строку — и нажмите «Добавить» или Ctrl+Enter. Адрес без https:// нормализуется автоматически. Дубликаты не добавляются повторно.

Есть ли готовые шаблоны?

+

Да: «Разрешить всё», «Закрыть всё», «Закрыть /admin/», «Googlebot отдельно» и «Яндекс (Clean-param)» подставляют типовые группы и правила — их можно править вручную.

Проверяется ли сгенерированный файл?

+

Да. Справа показывается robots.txt с подсветкой; тот же парсер, что в валидаторе robots.txt, отмечает ошибки и предупреждения по RFC 9309 и типовым расширениям.

Куда уходит содержимое?

+

Всё выполняется локально в браузере — правила и готовый текст на сервер не отправляются.

Как добавить Clean-param для Яндекса?

+

Выберите User-agent: Yandex в группе — появится блок Clean-param. Укажите параметры через & (например utm_source&utm_medium) и при необходимости префикс пути. Шаблон «Яндекс (Clean-param)» подставляет типовые UTM и служебные параметры. Директива не входит в RFC 9309 — см. справку Яндекса.

Гарантирует ли генератор поведение роботов?

+

Нет. Инструмент только формирует текст файла; как именно его применит поисковый робот, зависит от краулера и настроек в кабинете вебмастера.

Нужна помощь с robots.txt на проекте?

+

Напишите нам — поможем с правилами, sitemap и проверкой в проде.