Инструменты - Валидатор robots.txt
Проверка синтаксиса и структуры robots.txt: User-agent, Allow, Disallow, Sitemap, директивы для поисковых систем — онлайн.
robots.txt
Вставьте содержимое robots.txt, загрузите файл или перетащите его в поле.
Перетащите сюда robots.txt
Проверка URL/пути
Введите полный URL или путь и выберите User-agent из вашего robots.txt — увидите, что разрешено или запрещено и какое правило сработало.
Введите URL или путь, чтобы получить результат.
Результат проверки
Здесь появятся разбор, замечания и сводка — после ввода или загрузки robots.txt.
Расскажите о вашем проекте
Связаться иначе
- Telegram
- @baranov_guru
- Чат на сайте
- Написать