robots.txt: что это и зачем он нужен

robots.txt — короткая инструкция для поисковых роботов: какие страницы можно обходить, а какие не нужно. Лежит в корне сайта.

Файл не запрещает доступ по-настоящему — он лишь просит роботов не заходить. Именно поэтому закрывать админку лучше паролем, а не только строчкой в этом файле.

Что обычно закрывают

Главная ошибка

Строка, закрывающая весь сайт: робот перестаёт обходить страницы целиком. Сайт при этом открывается для людей и потому ошибку легко не заметить.

Как проверить

  1. Откройте адрес сайта с припиской robots.txt в браузере.
  2. Убедитесь, что админка закрыта, а разделы сайта — открыты.
  3. Проверьте, что в файле указан адрес карты сайта.
  4. Через несколько дней посмотрите в поисковых панелях, не выпали ли страницы.
Проверить файл можно в разделе проверка robots.txt, а карту — в проверке карты сайта.

Частые вопросы

robots.txt скрывает страницы от людей?

Нет, только от поисковых роботов.

Нужен ли он, если есть карта сайта?

Да, это разные инструменты.

Что будет, если ошибиться?

Сайт может выпасть из поиска, восстановление занимает недели.

Можно ли закрыть одну страницу?

Да, укажите её адрес в правилах.

Смотрите также

Обновлено: ноября 2026. Цены и условия провайдеров могут меняться — уточняйте на их сайтах.

Готовы запустить сайт на хостинге №1?

Регистрация за 5 минут · Перенос с другого хостинга бесплатно · Поддержка 24/7

Зарегистрироваться на HostFly.by