Генератор robots.txt и .htaccess
Выберите опции — и получите готовый текст файлов robots.txt и .htaccess. Просто скопируйте его в корень сайта.
robots.txt
.htaccess
Скопируйте текст и сохраните в файл robots.txt или .htaccess в корне сайта.
Как это работает
Robots.txt говорит поисковикам, какие разделы сайта можно индексировать, а файл .htaccess на Apache-хостинге настраивает редиректы, сжатие и кэш. Правильные настройки ускоряют сайт и убирают дубли страниц в поиске.
Частые вопросы
Сервис бесплатный?
Да, генератор на Depex.by бесплатный и без регистрации.
Куда положить файлы?
Оба файла размещаются в корневой папке сайта (там же, где главная страница).
Работает ли .htaccess на любом хостинге?
.htaccess работает на серверах Apache с mod_rewrite. На Nginx используются другие настройки.
Закрыть весь сайт — когда нужно?
На время разработки или на тестовом домене, чтобы поисковики не индексировали неготовый сайт.
Нужна ли строка Sitemap?
Желательно: она помогает поисковикам быстрее найти все страницы сайта.