Разметка и индексация · работает в браузере
Генератор robots.txt
Помогает собрать базовые директивы и заранее подсвечивает опасные запреты.
Порядок действий
Правила перед публикацией
Сначала соберите файл и прочитайте каждую директиву. Затем проверьте предупреждения и только после этого размещайте robots.txt в корне сайта.
- Проверьте область запрета
Не закрывайте весь боевой сайт директивой
Disallow: /, если это не осознанное временное решение. - Не путайте обход и индексирование
robots.txt управляет доступом робота к URL, но сам по себе не гарантирует удаления страницы из поиска.
- Проверьте опубликованный файл
Откройте его по HTTPS и убедитесь, что сервер отвечает кодом 200 и типом
text/plain.
FAQ
Важные нюансы
Нужно ли писать Allow: /?+
Нет, отсутствие запрета уже не закрывает путь. Явный Allow: / допустим и наглядно показывает намерение для поддерживаемых роботов.
Можно ли использовать звёздочку в Disallow?+
Синтаксис wildcard поддерживается не всеми роботами одинаково, поэтому генератор предупреждает о нём. Проверьте правила конкретной поисковой системы.
Достаточно ли robots.txt для защиты приватных данных?+
Нет. Для доступа используйте авторизацию и серверные ограничения: robots.txt не является механизмом безопасности.