Типичные разделы, которые стоит закрыть
Вот список того, что чаще всего скрывается через robots.txt:
- страницы корзины и оформления заказа (/cart/, /checkout/),
- панели входа и регистрации (/login/, /register/),
- админка (/admin/, /cms/),
- страницы поиска (/search/),
- страницы фильтрации и сортировки (если параметры URL создают дубли),
- технические папки (/tmp/, /scripts/, /test/).
Важно: не закрывайте через robots.txt страницы, которые уже попали в индекс и имеют трафик. Лучше использовать атрибут noindex, чтобы не блокировать доступ полностью.
Особенности настройки для разных поисковиков
1. Яндекс
- Поддерживает Clean-param: — директиву, помогающую исключать параметры URL.
- Сканирует сайт даже при наличии ограничений, но уважает Disallow:.
- Имеет собственный валидатор для проверки файла.
Пример использования Clean-param::
plaintext
Clean-param: ref /product/
Это означает, что параметр ref не будет учитываться при индексировании URL вида /product/?ref=123.
2. Google
- Поддерживает директиву Allow: — можно «пробить окно» в закрытом разделе.
- Рекомендовано указывать Host: только для Яндекса (в Google игнорируется).
- Быстрее реагирует на изменения в файле robots.txt.
Распространённые ошибки и их последствия
plaintext
User-agent: *
Disallow: /
Такое правило запрещает доступ ко всем страницам. Часто это делают на этапе разработки, а потом забывают отключить. В результате сайт полностью выпадает из выдачи.
Некоторые разработчики блокируют /css/, /js/, /assets/. Но поисковики анализируют оформление сайта и требуют доступ к стилям и скриптам. Их блокировка может привести к ухудшению ранжирования.
Это не критично, но желательно — карта помогает ускорить индексацию. Особенно важно для больших сайтов.
Неправильные пробелы, опечатки в путях, отсутствие символа / могут привести к тому, что правило не будет работать.
Иногда пытаются «перестраховаться» и запрещают доступ к половине сайта. Важно понимать, какие страницы действительно стоит закрывать, а какие должны быть в индексе.
Как проверить robots.txt
Перед загрузкой файла на сайт обязательно проверьте его:
- Через инструмент Яндекс.Вебмастера.
- В Google Search Console — раздел «Инструмент проверки robots.txt».
- Через любой онлайн-валидатор (например, TechnicalSEO или Screaming Frog).
Проверьте:
- доступ к важным страницам,
- закрытие служебных разделов,
- наличие sitemap,
- отсутствие дубликатов правил.
Где размещается файл и как его обновить
Файл robots.txt размещается строго в корне сайта — по адресу https://site.ru/robots.txt. Если он находится глубже (например, site.ru/files/robots.txt) — роботы его просто не увидят.
При обновлении файла:
- Проверьте изменения локально.
- Загрузите файл на сервер, заменив старый.
- Убедитесь, что он доступен по прямой ссылке.
- Уведомьте поисковики через панели вебмастеров (особенно если изменился Sitemap).
