robots.txt и sitemap.xml: как настроить без ошибок

Два простых файла решают, что поиск увидит, а что нет. Ошибка в одном символе может убрать сайт из выдачи на недели — поэтому проверяем.

robots.txt говорит поисковым роботам, куда можно ходить, а sitemap.xml показывает список страниц, которые стоит обойти. Файлы маленькие, но именно они чаще всего становятся причиной «сайт пропал из поиска».

Зачем нужны оба

Один файл не заменяет другой. Карта сайта без robots работает, robots без карты — тоже, но вместе они дают предсказуемый результат.

Что писать в robots.txt

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /*?sort=
Allow: /
Sitemap: https://ваш-сайт.by/sitemap.xml

Разбор строк:

Три ошибки, которые дорого стоят

  1. Disallow: / — закрывает весь сайт. Через пару недель страницы выпадают из поиска, и вернуть их быстро не получится.
  2. Запрет стилей и скриптов. Робот не увидит, как выглядит страница, и может считать её неудобной для мобильных.
  3. Запрет картинок и разделов, которые продвигаются. Трафик из поиска по картинкам просто исчезнет.

Правило: закрывайте только то, что действительно не нужно в поиске. Если сомневаетесь — оставьте открытым, лишняя страница вредит меньше, чем закрытая нужная.

Что включить в карту сайта

Служебные адреса, корзину, результаты поиска и страницы с параметрами в карту не добавляют.

Где размещать

Оба файла лежат в корне сайта: ваш-сайт.by/robots.txt и ваш-сайт.by/sitemap.xml. Не в подпапке и не внутри папки с движком. Если сайт на поддомене, файлы нужны на поддомене.

Карту сайта можно генерировать автоматически — при публикации статьи она должна обновляться сама. Ручной файл устаревает через месяц.

Как проверить

  1. Откройте проверку robots.txt — она покажет содержимое и подскажет ошибки.
  2. Проверьте карту через проверку карты сайта: все ли адреса отвечают и нет ли ошибок.
  3. Посмотрите в панели поиска, сколько страниц в индексе и совпадает ли это с ожиданием.
  4. Убедитесь, что новая статья появляется в карте в течение суток.

После переезда или смены адресов

По теме: редирект 301, www или без www, robots.txt в словаре.

Проверить, всё ли в порядке с индексацией, можно на странице проверки индексации, а полный отчёт — в аудите сайта. Хостинг с быстрым ответом сервера — в рейтинге, у HostFly.by есть HTTPS и почта в комплекте.

Готовы запустить сайт на хостинге №1?

Регистрация за 5 минут · Перенос с другого хостинга бесплатно · Поддержка 24/7

Зарегистрироваться на HostFly.by