Перейти к содержимому
RU · ₺
Вход в панель Купить пакет
Техническое SEO

Что такое краулинговый бюджет (crawl budget) и кого он касается?

6 мин чтения

Краулинговый бюджет (crawl budget) — это количество страниц, которые Googlebot готов и хочет просканировать на вашем сайте за определённый период. Для большинства небольших и средних сайтов это не проблема; об этом прямо говорят и документы самого Google. Однако для интернет-магазинов, сайтов объявлений и новостных порталов с сотнями тысяч адресов краулинговый бюджет может определять, насколько быстро будут обнаружены новые страницы. В этой статье без преувеличений объясняется, кого касается эта тема, что расходует бюджет впустую и какие шаги действительно работают.

Что такое краулинговый бюджет?

Googlebot не сканирует каждый адрес вашего сайта каждый день. Его ресурсы ограничены, и он распределяет их между миллиардами сайтов. Объём сканирования, выделенный одному сайту, неофициально называют краулинговым бюджетом. Важно понимать: бюджет не является фактором ранжирования. Больше сканирований не означает более высокую позицию; это лишь помогает тому, что ваши страницы быстрее обнаруживаются и обновляются.

Два компонента: мощность сканирования и спрос

КомпонентЗначениеОт чего зависит?
Ограничение мощности сканированияКоличество одновременных запросов, которое Googlebot может сделать, не перегружая ваш серверСкорость ответа сервера, доля ошибок (5xx), ресурсы хостинга
Спрос на сканированиеНасколько сильно Google хочет сканировать ваш сайтРазмер сайта, популярность, частота изменения контента и «устаревание» страниц

Фактический объём сканирования равен меньшему из этих двух значений. Если сервер замедляется или часто выдаёт ошибки 5xx, Google снижает мощность. Если страницы низкого качества и малоинтересны, спрос изначально невысок. Поэтому для увеличения мощности важны производительность хостинга, а для увеличения спроса — качество контента и популярность.

Кого это касается?

Согласно руководству Google для владельцев крупных сайтов, управление краулинговым бюджетом имеет смысл для таких сайтов:

  • Сайты примерно с миллионом и более уникальных страниц, контент которых меняется с умеренной частотой (например, раз в неделю).
  • Сайты с десятью тысячами и более страниц, контент которых меняется очень часто (ежедневно).
  • Сайты, у которых в Search Console много адресов в статусе «Обнаружено – в настоящее время не проиндексировано».

Корпоративный сайт, блог или небольшой магазин на несколько сотен или тысяч страниц в эту группу не входят. На таких сайтах задержка индексации новой страницы обычно связана не с краулинговым бюджетом, а с качеством контента, внутренними ссылками или техническим препятствием. Сначала исключите причины из нашего руководства по проблемам индексации.

Честное замечание: на небольшом сайте попытки «увеличить краулинговый бюджет» чаще всего означают решение не той проблемы. Сначала убедитесь, что страница доступна для сканирования, индексируема и действительно ценна.

Что тратит краулинговый бюджет впустую?

Основные источники потерь, которые указывает Google:

  • Комбинации фильтров и сортировки (faceted navigation): когда в категории сочетаются цвет, размер, цена и варианты сортировки, для одного и того же списка товаров может возникнуть тысячи адресов с параметрами.
  • Идентификаторы сессий и метки отслеживания: структуры, которые создают для каждого посетителя свой URL.
  • Дублирующийся контент: один и тот же контент доступен по нескольким адресам. Для объединения см. canonical-тег.
  • Soft 404 и страницы 404: адреса, которых нет, но которые продолжают сканироваться. См. 404 ошибки и SEO.
  • Длинные цепочки редиректов: каждый шаг тратит отдельный запрос. См. разницу между 301 и 302.
  • Бесконечные пространства: календари, ссылки «следующий месяц» и иные механизмы, порождающие бесконечные URL.
  • Тонкие страницы низкого качества: они сканируются, но не попадают в индекс, и всё равно расходуют бюджет.
  • Медленный сервер: чем дольше время ответа, тем меньше страниц Googlebot просканирует за то же время.

Как измерить?

  1. Отчёт «Статистика сканирования»: в Search Console в разделе «Настройки» отчёт «Статистика сканирования» показывает количество запросов в день, среднее время ответа, распределение кодов ответа и типы файлов. Сначала смотрите на резкие изменения общего числа запросов и доли 5xx/404.
  2. Логи сервера: единственный источник, точно показывающий, какие адреса и как часто сканируются. По ним видно, в какие параметризованные адреса и папки чаще всего заходит Googlebot.
  3. Отчёт «Страницы»: количество статусов «Обнаружено – в настоящее время не проиндексировано» и «Просканировано – в настоящее время не проиндексировано», а также примеры адресов.
  4. Сравнение с sitemap: сопоставьте число адресов в sitemap с числом уникальных адресов, просканированных по логам.

Пример: в магазине на 20 000 товаров большая часть запросов Googlebot в логах приходится на параметризованные адреса вида ?renk=...&beden=...&sirala=..., а новые товары неделями не попадают в индекс. Скорее всего, это значит, что бюджет уходит на комбинации фильтров. (Это гипотетический пример; проверьте его по логам своего сайта.)

Шаги оптимизации

  1. Управляйте набором URL. Заблокируйте в robots.txt разделы, которые не нужно сканировать (внутренний поиск, бесполезные комбинации фильтров). Правила написания описаны в нашем руководстве по robots.txt.
  2. Объединяйте дубликаты. Собирайте адреса с одинаковым контентом в один с помощью редиректа или canonical.
  3. Для окончательно удалённого контента отдавайте 404 или 410. Google не забывает известный адрес сразу, но 404/410 — сильный сигнал, что его сканирование можно сократить.
  4. Очищайте soft 404. Пустые страницы или страницы с текстом «не найдено» должны возвращать настоящий код ошибки.
  5. Поддерживайте sitemap в актуальном состоянии. Включайте только адреса, которые должны индексироваться, и отдающие код 200; значение lastmod должно соответствовать реальному обновлению. Подробнее — в нашем руководстве по XML-sitemap.
  6. Сокращайте цепочки редиректов и ведите внутренние ссылки сразу на конечный адрес.
  7. Улучшайте скорость страниц и сервера. Чем быстрее сервер, тем выше может быть предел мощности сканирования. Здесь решают кеширование и качество хостинга.
  8. Выделяйте важные страницы внутренними ссылками. Страницы, близкие к главной и часто сканируемым, обнаруживаются быстрее. Нашу статью о стратегии внутренней перелинковки посвятили этой теме.
  9. Следите за состоянием сервера. Перегрузка, ответы 5xx и 429 заставляют Googlebot замедлиться.

Пример: управление страницей категории с фильтрами

Самый типичный источник проблем с краулинговым бюджетом — навигация с фильтрами. Если в категории обуви каждая комбинация цвета, размера, бренда и сортировки создаёт отдельный адрес, список из ста товаров может превратиться в тысячи адресов для сканирования. Чтобы решить, что делать, задайте вопрос: ищут ли люди именно такую комбинацию фильтров?

  • Да (например, «черные спортивные кроссовки»): развивайте страницу как самостоятельную целевую с уникальным заголовком, описанием и содержанием, поддерживайте её внутренними ссылками и оставьте доступной для сканирования.
  • Нет (например, «размер 42 + по возрастанию цены»): ограничьте сканирование через robots.txt или не выводите такие адреса как обычные ссылки на странице; укажите canonical на основную категорию.
  • Параметры сортировки и сессий никогда не должны попадать в индекс; все они должны сводиться к одному адресу.

Замечание: если адрес заблокирован в robots.txt, Google не может увидеть на нём canonical-тег. Поэтому не полагайтесь одновременно и на блокировку, и на canonical для одних и тех же адресов; выбирайте осознанно один из способов.

Распространённые заблуждения

Распространённое мнениеРеальность
«Noindex освобождает краулинговый бюджет».Нет. Googlebot всё равно запрашивает страницу с noindex; он лишь не помещает её в индекс. Чтобы сократить сканирование, используйте robots.txt, чтобы убрать из индекса — noindex; разницу между ними нужно понимать.
«Если меня будут сканировать чаще, я буду выше в поиске».Объём сканирования не является сигналом ранжирования.
«Я могу повысить скорость сканирования в Search Console».Google убрал старый инструмент ограничения скорости сканирования; скорость определяется автоматически.
«У каждого сайта есть проблема с бюджетом».Для большинства сайтов тема не актуальна; она заметна только на очень больших или очень быстро меняющихся сайтах.
«Частая отправка sitemap увеличивает сканирование».Sitemap помогает обнаружению, но не ускоряет сканирование принудительно. Важно, чтобы sitemap был правильным и актуальным.

Все эти шаги входят в ваш технический аудит; общий порядок проверок смотрите в нашем техническом чек-листе SEO. На сайтах, созданных с помощью JavaScript, сканирование и обработка требуют дополнительного времени, поэтому также посмотрите основы JavaScript SEO. Официальное руководство Google — страница об управлении краулинговым бюджетом для крупных сайтов.

Частые вопросы

Как узнать свой краулинговый бюджет?

Единого фиксированного числа нет. Отчёт «Статистика сканирования» в Search Console показывает количество запросов в день; логи сервера дают детализацию по адресам.

Важен ли краулинговый бюджет для моего небольшого сайта?

Обычно нет. На сайтах до нескольких тысяч страниц основной фокус должен быть на качестве контента, внутренней перелинковке и базовом техническом здоровье.

Исчезнет ли из индекса страница, которую я заблокировал в robots.txt?

Нет. Robots.txt блокирует сканирование, но если на адрес ведут внешние ссылки, он может остаться в индексе. Для удаления из индекса используется noindex, а для этого страница должна быть доступна для сканирования.

Увеличит ли ускорение сервера бюджет?

Когда время ответа сокращается, Google может просканировать больше страниц за то же время, так что потенциал роста предела сканирования появляется; но это не гарантированный результат.

Заключение

Краулинговый бюджет — реальная тема, которой должны заниматься крупные сайты; для небольших же это понятие, за которым, как правило, не нужно гнаться. Оценивайте по размеру своего сайта: если он большой, отслеживайте статистику сканирования и логи и сокращайте лишние адреса; если небольшой, направьте силы на контент и внутренние ссылки. В обоих случаях быстрый сервер, чистая структура URL и актуальный sitemap облегчают работу Googlebot. Как строить видимость поверх технической основы, вы можете посмотреть в нашей статье о методах увеличения органического трафика.

Не хватает кликов по вашему ключевому слову?

HitBot создаёт реальные сессии, которые ищут по целевому ключевому слову, находят ваш сайт и кликают по нему. Результат накапливается в Search Console в виде показов и кликов.

Другие статьи

Техническое SEO

SEO-дружественная структура URL: правила, примеры, ошибки

Каким должен быть SEO-дружественный URL? Правила коротких, строчных адресов с дефисами, хорошие и плохие примеры, работа с параметрами и что учесть при изменении существующих адресов.

Читать статью