robots.txt и sitemap.xml: как настроить без ошибок
Два простых файла решают, что поиск увидит, а что нет. Ошибка в одном символе может убрать сайт из выдачи на недели — поэтому проверяем.
robots.txt говорит поисковым роботам, куда можно ходить, а sitemap.xml показывает список страниц, которые стоит обойти. Файлы маленькие, но именно они чаще всего становятся причиной «сайт пропал из поиска».
Зачем нужны оба
- robots.txt — правила: что закрыто, что открыто, где лежит карта сайта.
- sitemap.xml — перечень адресов с датами обновления. Помогает быстрее находить новые страницы.
Один файл не заменяет другой. Карта сайта без robots работает, robots без карты — тоже, но вместе они дают предсказуемый результат.
Что писать в robots.txt
User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /*?sort=
Allow: /
Sitemap: https://ваш-сайт.by/sitemap.xml
Разбор строк:
- User-agent — к кому обращение. Звёздочка означает «ко всем роботам».
- Disallow — что закрыть. Служебные разделы, корзину, результаты фильтров.
- Allow — исключение из запрета, если нужно открыть часть закрытого раздела.
- Sitemap — полный адрес карты сайта.
Три ошибки, которые дорого стоят
- Disallow: / — закрывает весь сайт. Через пару недель страницы выпадают из поиска, и вернуть их быстро не получится.
- Запрет стилей и скриптов. Робот не увидит, как выглядит страница, и может считать её неудобной для мобильных.
- Запрет картинок и разделов, которые продвигаются. Трафик из поиска по картинкам просто исчезнет.
Правило: закрывайте только то, что действительно не нужно в поиске. Если сомневаетесь — оставьте открытым, лишняя страница вредит меньше, чем закрытая нужная.
Что включить в карту сайта
- Все страницы, которые должны ранжироваться: статьи, услуги, категории.
- Дату последнего изменения — она помогает роботу понять, что обновилось.
- Приоритет и частоту — можно не указывать, поиск давно это игнорирует.
Служебные адреса, корзину, результаты поиска и страницы с параметрами в карту не добавляют.
Где размещать
Оба файла лежат в корне сайта: ваш-сайт.by/robots.txt и ваш-сайт.by/sitemap.xml. Не в подпапке и не внутри папки с движком. Если сайт на поддомене, файлы нужны на поддомене.
Карту сайта можно генерировать автоматически — при публикации статьи она должна обновляться сама. Ручной файл устаревает через месяц.
Как проверить
- Откройте проверку robots.txt — она покажет содержимое и подскажет ошибки.
- Проверьте карту через проверку карты сайта: все ли адреса отвечают и нет ли ошибок.
- Посмотрите в панели поиска, сколько страниц в индексе и совпадает ли это с ожиданием.
- Убедитесь, что новая статья появляется в карте в течение суток.
После переезда или смены адресов
- Обновите адрес карты в robots.txt на новый домен.
- Проверьте, что старые адреса отдают перенаправление, а не 404.
- Добавьте новый сайт в панели поиска и подтвердите права.
- Не закрывайте старый сайт мгновенно — дайте роботам увидеть перенаправления.
По теме: редирект 301, www или без www, robots.txt в словаре.