Перейти к содержимому
RU · ₺
Вход в панель Купить пакет
Техническое SEO

Что такое robots.txt и как его написать: примеры и ошибки

6 мин чтения

robots.txt — это небольшой текстовый файл в корневом каталоге сайта, который сообщает ботам поисковых систем, к каким адресам им можно обращаться, а к каким — нет. Одна строка с ошибкой может остановить сканирование всего сайта, а правильно написанный файл направляет краулинговый бюджет на важные страницы. В этом руководстве мы объясняем, для чего нужен файл robots.txt, как его писать, какие директивы поддерживает Google и какие ошибки встречаются чаще всего, на примерах.

Что такое robots.txt?

robots.txt — это файл стандарта «Протокол исключения роботов» (Robots Exclusion Protocol). Это простой текст (UTF-8), и он обязательно должен находиться в корне домена: https://www.ornek.com/robots.txt. Файл robots.txt, помещённый в подкаталог, не учитывается. Каждый поддомен (например, blog.ornek.com) и каждая комбинация протокола и порта нуждаются в собственном файле.

Назначение файла — управление трафиком сканирования: не дать ботам тратить время на бесполезные разделы, такие как панель управления, корзина, результаты внутреннего поиска или бесконечные адреса с параметрами фильтров. Это не инструмент безопасности: файл может прочитать любой, поэтому указывать в нём название папки, которую вы хотите скрыть, значит только раскрыть её. Для закрытого контента используйте пароль или авторизацию.

Как поисковые системы используют robots.txt?

Перед сканированием любой страницы сайта бот запрашивает файл robots.txt и читает правила. Правила группируются по «user-agent» (агент пользователя); бот выбирает наиболее подходящую для себя группу и применяет только её. Несколько важных деталей:

  • Если файл не найден (ответ 4xx, например 404), Google трактует это как «ограничений нет» и сканирует сайт свободно.
  • Если сервер возвращает ошибку 5xx, Google снижает частоту сканирования или вовсе приостанавливает его; поэтому важно, чтобы адрес robots.txt стабильно отвечал.
  • Google обрабатывает только первые 500 КиБ файла; очень большие файлы обрезаются.
  • Правила для путей чувствительны к регистру: /Admin/ и /admin/ — разные пути.
  • Google не загружает файл при каждом запросе, а хранит его в кэше. Эффект ваших изменений появляется не сразу, а через некоторое время.

Базовый синтаксис и директивы

Google поддерживает ограниченный набор из четырёх директив. В таблице ниже описано, что делает каждая из них.

ДирективаЧто делает?Пример
User-agentУказывает, к какому боту относится правило; * означает все боты.User-agent: Googlebot
DisallowЗапрещает сканирование указанного пути.Disallow: /sepet/
AllowРазрешает конкретный путь внутри запрещённой папки.Allow: /sepet/yardim.html
SitemapСообщает полный адрес файла sitemap; не зависит от групп.Sitemap: https://www.ornek.com/sitemap.xml

Можно использовать два шаблонных символа: * (любая последовательность символов) и $ (конец адреса). Например, Disallow: /*.pdf$ закрывает каждый путь, оканчивающийся на .pdf, а Disallow: /*?sirala= — адреса с параметром «sirala». Если адрес подходит одновременно под правила Allow и Disallow, Google применяет более конкретное (более длинное) правило.

Не поддерживаются: Crawl-delay Google игнорирует (некоторые другие поисковые системы его читают). Строка Noindex в robots.txt также не работает с 2019 года. Чтобы удалить страницу из индекса, нужно добавить на неё мета-тег noindex или HTTP-заголовок.

Пример файла robots.txt

Разумный стартовый шаблон для корпоративного сайта или небольшого интернет-магазина может выглядеть так:

User-agent: *
Disallow: /yonetim/
Disallow: /sepet/
Disallow: /odeme/
Disallow: /arama/
Disallow: /*?sirala=
Disallow: /*?oturum=

Sitemap: https://www.ornek.com/sitemap.xml

Этот файл запрещает всем ботам сканировать разделы управления, корзины, оплаты и внутреннего поиска, а также адреса с параметрами сортировки и сеанса; всё остальное разрешено. В WordPress-сайтах часто встречается пара правил Disallow: /wp-admin/ и Allow: /wp-admin/admin-ajax.php. Чтобы определить, какие пути на вашем сайте бесполезны, сначала посмотрите статистику сканирования в Search Console и серверные логи; готовые шаблоны, скопированные без проверки, чаще всего блокируют больше, чем нужно.

Отдельные правила для разных ботов

В файле можно задать несколько групп. Каждая группа начинается с одной или нескольких строк User-agent, после которых идут правила. Бот выбирает одну наиболее подходящую для себя группу и не добавляет к ней правила общей группы (*). Поэтому, если вы пишете группу для конкретного бота, общие правила нужно повторить и в ней.

User-agent: *
Disallow: /yonetim/
Disallow: /arama/

User-agent: Googlebot-Image
Disallow: /ozel-gorseller/
Disallow: /yonetim/

Sitemap: https://www.ornek.com/sitemap.xml

В примере выше Googlebot-Image применяет только свою группу, поэтому правило /yonetim/ присутствует и в ней. Пустые строки между группами улучшают читаемость. Комментарий пишется с символом # в начале строки; такие строки игнорируются. Не перегружайте правила: robots.txt, который годами разрастается без поддержки, превращается в источник риска, где никто не знает, зачем нужно то или иное правило. Полезная привычка — рядом с каждым правилом писать краткий комментарий с причиной.

Запрет сканирования — это не удаление из индекса

Это самая частая путаница. robots.txt ограничивает только сканирование. Если на заблокированный адрес ведут ссылки с других сайтов или с внутренних страниц, Google может добавить адрес в индекс, даже не увидев содержимого: в результатах он будет показан без описания, только с адресом. Хуже того: если вы одновременно блокируете страницу через robots.txt и ставите на неё noindex, Google не сможет попасть на страницу и не увидит noindex.

Ваша цельПравильный способ
Не тратить краулинговый бюджет на бесполезные адресаDisallow в robots.txt
Чтобы страница не показывалась в результатах поискаОставить страницу доступной для сканирования и поставить noindex
Чтобы содержимое было скрыто от всехПароль/авторизация (robots.txt не обеспечивает безопасность)
Чтобы сигналы дублирующихся адресов объединились301-редирект или canonical (см. наше руководство по canonical)

Небольшой сайт или большой? На сайте в несколько сотен страниц влияние robots.txt на эффективность сканирования ограничено; его главная ценность — исключить ненужные разделы и указать sitemap. Для сайтов с сотнями тысяч адресов, таких как интернет-магазины или доски объявлений с фильтрами, исключение лишних комбинаций адресов из сканирования действительно даёт заметный эффект.

Самые частые ошибки

  1. Блокировка всего сайта. Строка Disallow: /, попавшая в файл при переносе с сервера разработки на боевой, делает сайт недоступным для сканирования. При каждом выпуске новой версии обязательно проверяйте robots.txt.
  2. Блокировка папок CSS и JavaScript. Google нужны эти файлы, чтобы построить страницу и оценить её мобильную адаптацию. Если их заблокировать, страница может выглядеть неполной.
  3. Блокировка адресов, указанных в sitemap. Одновременно говорить «добавь это в индекс» и «не заходи» — противоречиво; Search Console показывает это как предупреждение.
  4. Запись noindex в robots.txt. Как описано выше, это больше не работает.
  5. Неправильное расположение. Если файл не в корне или называется иначе, например Robots.TXT, правила не учитываются.
  6. Слишком широкий путь. Disallow: /urun закрывает не только папку «urun», но и все адреса, начинающиеся с «/urun», например /urunler/ и /urun-detay.html. Если вы имеете в виду папку, ставьте слеш в конце.
  7. Закрыть страницы для сканирования и затем ждать 301. Если вы блокируете старые адреса, которые перенаправляются, бот не увидит редирект.

Проверка перед публикацией

Перед изменением файла сохраните резервную копию текущей версии. Затем выполните следующие шаги:

  1. Откройте файл в браузере (/robots.txt) и убедитесь, что он открывается как простой текст с кодом ответа 200.
  2. В Search Console откройте отчёт Настройки → robots.txt: там видна версия, которую Google загрузил последней, а также синтаксические ошибки и предупреждения.
  3. Для нескольких важных страниц используйте инструмент Проверка URL; если видите надпись «заблокировано robots.txt», пересмотрите правило.
  4. На неделе после публикации посмотрите в отчёте «Страницы», не выросло ли неожиданно число в категории «Заблокировано robots.txt». Для диагностики общих проблем индексации пригодится наше руководство по проблемам индексации Google.

Официальные документы можно изучить в руководстве по robots.txt в Google Search Central. robots.txt — лишь один пункт общей проверки здоровья сайта; для всех пунктов используйте наш контрольный список технического SEO.

Часто задаваемые вопросы

Обязателен ли robots.txt?

Нет. Если файла нет, боты сканируют сайт свободно. Однако он полезен, если вы хотите закрыть какие-то разделы или указать адрес sitemap.

Когда вступит в силу изменение robots.txt?

Google хранит файл в кэше и обычно обновляет его не позднее чем через день; поэтому эффект может проявиться через несколько часов или через сутки. В экстренных случаях можно запросить повторное сканирование в отчёте robots.txt Search Console.

Можно ли заблокировать ИИ-ботов через robots.txt?

Для ботов, которые соблюдают правила, да: у каждого бота есть собственное имя user-agent, и его можно выделить в отдельную группу. Однако robots.txt — это просьба, а не ограничение; он не остановит боты, которые не соблюдают правила.

Почему страница, закрытая через Disallow, всё ещё есть в Google?

Потому что Disallow — это не команда удаления из индекса. Адрес может оставаться в списке без содержимого, если на него ссылаются другие страницы. Решение: снять запрет и поставить на страницу noindex либо полностью удалить страницу.

Заключение

robots.txt — маленький файл с большими последствиями. Правило простое: закрывайте только действительно бесполезные разделы, не трогайте файлы CSS и JS, добавьте адрес sitemap и не используйте файл для удаления страниц из индекса. После каждой публикации проверяйте файл в Search Console и убеждайтесь, что важные страницы доступны для сканирования: это предотвращает большинство проблем. Следующий шаг — подготовить файл sitemap с помощью руководства по XML-sitemap.

Не хватает кликов по вашему ключевому слову?

HitBot создаёт реальные сессии, которые ищут по целевому ключевому слову, находят ваш сайт и кликают по нему. Результат накапливается в Search Console в виде показов и кликов.

Другие статьи

Техническое SEO

SEO-дружественная структура URL: правила, примеры, ошибки

Каким должен быть SEO-дружественный URL? Правила коротких, строчных адресов с дефисами, хорошие и плохие примеры, работа с параметрами и что учесть при изменении существующих адресов.

Читать статью