Файл robots.txt — это первый рубеж общения вашего сайта с поисковыми роботами Яндекса и Google. От того, как настроен robots.txt, зависит, какие страницы попадут в индекс, а какие останутся невидимыми. Статья полезна владельцам сайтов, SEO-специалистам и разработчикам, которые хотят управлять индексацией без риска потерять трафик.
Коротко
- robots.txt — текстовый файл в корне сайта с инструкциями для поисковых роботов.
- Правильная настройка robots.txt помогает исключить дубли, служебные страницы и малополезный контент.
- Яндекс и Google понимают большинство директив одинаково, но есть нюансы (например, Clean-param для Яндекса).
- Ошибки в robots.txt могут привести к выпадению важных страниц из индекса.
- Проверять файл нужно после каждого изменения и при смене CMS.
Что такое robots.txt и зачем он нужен
robots.txt — это обычный текстовый файл в кодировке UTF-8, который лежит в корневой директории сайта (например, https://example.com/robots.txt). В нём прописаны инструкции для автоматических программ — поисковых роботов. Робот при заходе на сайт сначала читает этот файл и понимает, какие разделы можно сканировать, а какие закрыты.
Файл не является «замком»: робот может проигнорировать запрет, если найдёт страницу по внешней ссылке. Но на практике Яндекс и Google строго следуют директивам. Поэтому настройка robots.txt — базовый этап технической оптимизации любого сайта.
Основные директивы robots.txt: как настроить для Яндекса и Google
Синтаксис файла прост: группы правил, каждая начинается с указания агента (User-agent) и содержит директивы Allow и Disallow. Рассмотрим ключевые элементы.
- User-agent: имя робота или * для всех. Яндекс использует Yandex, Google — Googlebot.
- Disallow: запрет на сканирование пути или конкретной страницы.
- Allow: разрешение для вложенного пути, даже если родительский каталог закрыт.
- Sitemap: указание на файл карты сайта (поддерживается обоими поисковиками).
- Clean-param: директива Яндекса для исключения параметров URL (например, сортировки).
- Crawl-delay: задержка между запросами; Яндекс понимает дробные значения, Google игнорирует.
Пример базового файла для WordPress-сайта:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/
Sitemap: https://example.com/sitemap.xmlЗдесь мы закрываем админку, поиск и дубли, но оставляем доступ к ajax-обработчику и указываем карту сайта.
Как настроить robots.txt для Яндекса
Яндекс поддерживает все стандартные директивы, а также собственные: Clean-param, Host (устарела, но иногда используется). Важно помнить, что Яндекс применяет наиболее конкретное правило: если есть и Allow, и Disallow для одного пути, приоритет у более длинного совпадения.
Для интернет-магазинов часто закрывают страницы фильтров с параметрами. Пример:
User-agent: Yandex
Disallow: /catalog?sort=
Clean-param: sort /catalog/Такой подход снижает нагрузку на сервер и предотвращает появление тысяч дублей в индексе.
Как настроить robots.txt для Google
Googlebot понимает те же базовые директивы. Главное отличие — Google игнорирует Clean-param и Crawl-delay. Для управления параметрами URL используйте инструмент «Параметры URL» в Search Console (с 2022 года он отключён, поэтому параметры лучше закрывать через Disallow или канонические теги).
Google рекомендует не блокировать CSS и JS файлы, чтобы робот мог корректно отрисовать страницу. Поэтому в robots.txt для Google не стоит закрывать папки с темами и скриптами.
Пример для сайта на Битрикс:
User-agent: Googlebot
Disallow: /bitrix/admin/
Disallow: /search/
Allow: /bitrix/templates/Пошаговая инструкция: как настроить robots.txt для сайта
- Определите, что нужно закрыть. Составьте список служебных разделов: админка, личный кабинет, корзина, поиск, страницы с параметрами, дубли.
- Создайте файл в текстовом редакторе. Используйте Блокнот или редактор кода, сохраните в UTF-8 без BOM.
- Пропишите группы для User-agent. Начните с общих правил для *, затем при необходимости добавьте отдельные блоки для Yandex и Googlebot.
- Проверьте синтаксис. Откройте файл в браузере по адресу yoursite.ru/robots.txt, убедитесь, что нет ошибок.
- Загрузите файл в корень сайта. Используйте FTP, хостинг-панель или файловый менеджер CMS.
- Протестируйте в инструментах вебмастера. В Яндекс.Вебмастере и Google Search Console есть разделы для проверки robots.txt.
После публикации изменения вступают в силу не мгновенно: роботы перечитывают файл с периодичностью от нескольких часов до нескольких дней.
Типичные ошибки при настройке robots.txt
Даже опытные специалисты иногда допускают промахи. Вот самые частые:
| Ошибка | Последствие |
|---|---|
| Закрыт весь сайт (Disallow: /) | Сайт полностью исчезает из индекса |
| Нет директивы Sitemap | Роботы медленнее находят новые страницы |
| Закрыты CSS/JS файлы | Google не может корректно отобразить страницу, возможны проблемы с ранжированием |
| Использование нестандартных директив | Роботы игнорируют непонятные строки, что может привести к непредсказуемому поведению |
| Регистр символов в путях | Пути чувствительны к регистру: /Admin/ и /admin/ — разные директории |
Проверяйте файл после каждого изменения. Ошибка в одном символе может стоить трафика.
Чек-лист: как правильно настроить robots.txt для SEO
- Файл доступен по адресу https://example.com/robots.txt и отдаёт код 200.
- Кодировка UTF-8, отсутствуют BOM и лишние пробелы в конце строк.
- Указана директива Sitemap с абсолютным URL карты сайта.
- Закрыты служебные разделы: /admin/, /cart/, /search/, страницы с параметрами сортировки.
- Не закрыты важные страницы: главная, категории, товары, статьи.
- Для Яндекса при необходимости прописаны Clean-param и Crawl-delay.
- Файл протестирован в Яндекс.Вебмастере и Google Search Console.
Если вы не уверены в своих силах, лучше доверить настройку robots.txt профессионалам. В студии Perfect Team мы настраиваем robots.txt в рамках услуги SEO-продвижение и следим за индексацией сайта.
Заключение: robots.txt как часть стратегии продвижения
Файл robots.txt — маленький, но важный элемент технического SEO. Правильная настройка для Яндекса и Google экономит краулинговый бюджет, защищает от дублей и ускоряет индексацию нужных страниц. Не пренебрегайте им, даже если сайт кажется простым.
Если вы запускаете новый проект или хотите провести аудит текущего сайта, обратитесь в Perfect Team. Мы поможем с созданием и оптимизацией: от сайта-визитки до сложного интернет-магазина, а также настроим robots.txt и другие технические аспекты.
Частые вопросы
Что будет, если на сайте нет файла robots.txt?
Поисковые роботы будут сканировать весь сайт без ограничений. Для небольших ресурсов это не критично, но для крупных может привести к индексации дублей и служебных страниц.
Как проверить robots.txt перед публикацией?
Используйте инструменты Яндекс.Вебмастера и Google Search Console: там есть разделы для проверки robots.txt. Также можно открыть файл в браузере и убедиться в отсутствии ошибок.
Можно ли закрыть страницу от индексации только через robots.txt?
Формально да, но надёжнее использовать метатег noindex. Поисковики могут проиндексировать страницу, если на неё ведут внешние ссылки, даже при запрете в robots.txt.
Как часто роботы перечитывают robots.txt?
Обычно раз в несколько часов или дней. Точный интервал зависит от популярности сайта и частоты обновлений. После изменений можно запросить повторный обход в панелях вебмастера.
