robots.txt: что это и зачем он нужен
robots.txt — короткая инструкция для поисковых роботов: какие страницы можно обходить, а какие не нужно. Лежит в корне сайта.
Файл не запрещает доступ по-настоящему — он лишь просит роботов не заходить. Именно поэтому закрывать админку лучше паролем, а не только строчкой в этом файле.
Что обычно закрывают
- Админку движка и служебные папки.
- Страницы поиска и фильтров, которые плодят дубли.
- Корзину, оформление заказа и личный кабинет.
- Файлы кэша и технические скрипты.
Главная ошибка
Строка, закрывающая весь сайт: робот перестаёт обходить страницы целиком. Сайт при этом открывается для людей и потому ошибку легко не заметить.
Как проверить
- Откройте адрес сайта с припиской robots.txt в браузере.
- Убедитесь, что админка закрыта, а разделы сайта — открыты.
- Проверьте, что в файле указан адрес карты сайта.
- Через несколько дней посмотрите в поисковых панелях, не выпали ли страницы.
Частые вопросы
robots.txt скрывает страницы от людей?
Нет, только от поисковых роботов.
Нужен ли он, если есть карта сайта?
Да, это разные инструменты.
Что будет, если ошибиться?
Сайт может выпасть из поиска, восстановление занимает недели.
Можно ли закрыть одну страницу?
Да, укажите её адрес в правилах.
Смотрите также
Проверка robots.txt
Найти лишние запреты.
Открыть →Карта сайта
Список страниц для роботов.
Открыть →Индексация
Что попало в поиск.
Открыть →Обновлено: ноября 2026. Цены и условия провайдеров могут меняться — уточняйте на их сайтах.