Перейти к содержимому
RU · $
Вход в панель Купить пакет
Search Console

Проблемы индексации Google и их решение

7 мин чтения

Проблемы индексации Google — самая распространённая причина того, что страница, которая готова и опубликована, не появляется в результатах поиска. Если страница не попала в индекс Google, она не сможет ранжироваться, как бы хорош ни был её контент. В этом руководстве мы по одному разбираем статусы, с которыми вы столкнётесь в отчёте «Страницы» Search Console, объясняем, на что смотреть в каждом случае и когда нужно вмешаться, а когда достаточно подождать.

Что такое индексация и как понять, что с ней проблема?

Google сначала находит страницу, затем сканирует (загружает) её, после чего обрабатывает содержимое и добавляет в индекс. Страница, попавшая в индекс, может появиться в результатах поиска; не попавшая — не появится. Важное уточнение: Google не обязуется индексировать каждую просканированную страницу. Если страницы с низкой ценностью, дублирующие или не приносящие пользы сайту не попадают в индекс — это обычно нормально. Цель — не обнулить список «Не проиндексировано», а убедиться, что страницы, представляющие ценность, в этом списке отсутствуют.

Для быстрой первичной проверки есть три способа:

  • Ввести в Google site:вашдомен.ru/адрес-страницы (это грубый ориентир, точного результата он не даёт).
  • Вставить адрес в поле «Проверка URL» в Search Console. Подробнее — в нашем руководстве по началу работы с Search Console.
  • Открыть в меню слева отчёт «Страницы» и посмотреть общую сводку проиндексированных и непроиндексированных страниц.

Как читать отчёт «Страницы»

Отчёт «Страницы» делится на две основные группы: «Проиндексировано» и «Не проиндексировано». В последней группе каждая строка показывает причину. Если нажать на строку, откроется список примеров адресов. Отчёт показывает адреса, которые Google знает; страницы вашего сайта, которые Google ещё ни разу не обнаружил, в нём не появятся.

Интерфейс и формулировки иногда меняются; приведённые ниже заголовки — те, что чаще всего встречаются в русском интерфейсе. При просмотре списка причин сначала смотрите на причины, которые затрагивают важные страницы, и только потом — на те, где самое большое количество адресов.

СтатусОбычно означаетПервое действие
Просканировано — пока не проиндексированоGoogle увидел страницу, но не счёл её достойной добавления в индексКачество контента, уникальность, внутренние ссылки
Найдено — пока не проиндексированоАдрес известен, но сканирование ещё не проводилосьВнутренние ссылки, sitemap, скорость сервера
Альтернативная страница с корректным тегом canonicalСтраница указывает на другой адрес как на основнойОбычно это не проблема; проверьте, что указано верно
Исключено тегом noindexСтраница сама просит исключить её из индексаПроверьте, сделано ли это намеренно
Заблокировано в файле robots.txtGoogle не может просканировать страницуПересмотрите правило
Мягкая ошибка 404 (soft 404)Страница отдаёт код 200, но выглядит пустойНастоящая 404 или добавление содержимого
Не найдено (404)Адреса не существуетЕсли страница запланирована к удалению, ничего не трогайте

«Просканировано — пока не проиндексировано»

Этот статус указывает, что проблема, скорее всего, связана не столько с технической стороной, сколько с качеством и ценностью. Google загрузил страницу, увидел содержимое и пока не добавил её в индекс. Причины могут быть такими:

  • Контент слишком короткий, шаблонный или очень похож на другие страницы (тонкий или дублирующийся контент).
  • На страницу почти не ведут внутренние ссылки с других страниц сайта; она выглядит малозначимой.
  • Общее впечатление о качестве сайта невысокое; Google осторожно добавляет новые страницы в индекс.
  • Страница новая; статус может самостоятельно исправиться через несколько недель.

Что делать: добавьте на страницу уникальную информацию и примеры, объедините похожие страницы в одну сильную, поставьте контекстные ссылки с релевантных статей. По этой теме поможет наша статья о стратегии внутренней перелинковки. Повторное нажатие кнопки «Запросить индексацию» без изменений на странице проблему не решит: если ничего не поменялось, Google примет то же решение.

«Найдено — пока не проиндексировано»

Google знает адрес (из sitemap или по ссылке), но до сканирования дело ещё не дошло. В небольших сайтах такой статус обычно временный. Если же множество адресов месяцами остаются в этом статусе, проверьте следующее:

  • Скорость ответа сервера и ошибки: если сервер медленный или часто выдаёт ошибки, Google может снизить темп сканирования.
  • Избыток ненужных адресов: адреса с параметрами, фильтрами и бесконечными комбинациями могут исчерпать ресурсы сканирования.
  • Недостаток внутренних ссылок: адреса, которые есть только в sitemap и на которые не ведёт ни одна страница, получают низкий приоритет.

Важно: в sitemap включайте только те адреса, которые должны попасть в индекс, отдают код 200 и являются каноническими. Если в sitemap попадают битые, перенаправляемые или noindex-адреса, Google получает противоречивые сигналы.

Статусы canonical и дубликатов

Три статуса из этой группы часто путают:

  • Альтернативная страница с корректным тегом canonical: страница сама указывает с помощью canonical на другой адрес как на основную версию. Для параметризованных или мобильных/AMP-адресов это ожидаемая ситуация.
  • Дубликат, для которого пользователь не выбрал canonical: Google счёл страницу копией другой страницы, а вы не указали canonical. Явно отметьте основную версию.
  • Google выбрал canonical, отличный от указанного пользователем: вы указали один адрес, а Google выбрал другой. Внутренние ссылки, sitemap и редиректы могут противоречить друг другу.

Практическое решение для третьего случая — чтобы внутренние ссылки, sitemap и canonical указывали на один и тот же адрес. Если хотите разобраться в логике canonical с самого начала, прочитайте нашу статью что такое тег canonical.

Блокировки noindex и robots.txt

Два механизма работают по-разному, и путаница между ними порождает самые запутанные ошибки. noindex говорит, что страница не должна попадать в индекс; однако, чтобы увидеть эту директиву, Google должен иметь возможность просканировать страницу. А robots.txt блокирует сканирование, но не удаляет страницу из индекса.

  • Если страница одновременно заблокирована в robots.txt и помечена noindex, директива noindex не будет прочитана.
  • Если вы видите предупреждение «Проиндексировано, но заблокировано в файле robots.txt», значит, страница попала в индекс по адресу, поскольку на неё ведут ссылки с других сайтов. Если вы действительно хотите её убрать, снимите блокировку в robots.txt и добавьте noindex.
  • Очень часто noindex, поставленный на время разработки, забывают снять при переносе на боевой сайт. Для важных страниц поищите в исходном коде <meta name="robots" content="noindex">. Заголовок ответа сервера X-Robots-Tag действует так же.

404, soft 404, ошибки 5xx и редиректы

Не найдено (404): для удалённой вами страницы это нормально, и само по себе это не требует штрафа. Если страница с ценностью по ошибке отдаёт 404, верните её или сделайте 301-редирект на ближайшую подходящую страницу.

Soft 404: страница отдаёт код 200, но показывает «Товар не найден», пустую категорию или почти пустое содержимое. Если страница действительно не нужна, верните 404 или 410; если нужна — улучшите её содержимое.

Ошибка сервера (5xx): Google не может получить страницу. Разовые сбои не страшны; если ошибки повторяются, изучите ресурсы сервера и логи.

Страница с перенаправлением: адрес ведёт на другое место; это не ошибка, а информационная строка. Если цепочка редиректов длинная, сократите её до одного шага и ставьте внутренние ссылки сразу на конечный адрес.

Пример: новые статьи блога не попадают в индекс

Гипотетический пример: владелец корпоративного сайта замечает, что из двадцати статей, опубликованных за последние два месяца, в индексе лишь шесть. В отчёте «Страницы» преобладающая причина — «Просканировано — пока не проиндексировано». В ходе проверки выясняется: большинство статей — это по 300–400 слов общих рассуждений, похожих друг на друга; ни на одну из них не ведёт ссылка из других статей, они есть только в sitemap. Решение состоит из трёх шагов: похожие статьи объединяются в одно подробное руководство, в остальные добавляются уникальные примеры и изображения, и с релевантных страниц ставятся контекстные внутренние ссылки. После такого исправления страницам обычно требуется несколько недель, чтобы попасть в индекс; запрос индексации без каких-либо изменений результата не даёт.

Урок этого примера: название статуса часто указывает на симптом, но не на причину. Чтобы найти причину, нужно посмотреть на страницу глазами Google; честный ответ на вопрос «эта страница полезнее уже имеющихся результатов по этой теме?» в большинстве случаев показывает решение проблемы «просканировано, но не проиндексировано».

Проверка исправления и запрос индексации

После устранения проблемы нажмите «Проверить исправление» в строке с нужной причиной. Google перепроверит примеры адресов и сообщит результат в течение нескольких дней или недель. Для отдельных важных страниц в инструменте «Проверка URL» есть также «Запросить индексацию»; однако у этого действия есть суточная квота, оно не решает проблему, а лишь может ускорить повторное сканирование. Правильный порядок действий такой:

  1. Определите причину (исходный код, код состояния, robots.txt).
  2. Исправьте страницу; если проблема в содержимом, действительно улучшите его.
  3. Обновите sitemap и внутренние ссылки.
  4. Проверьте live-версию URL, затем запросите индексацию и запустите проверку.
  5. Через две-три недели снова откройте отчёт и сравните результат.

Чтобы следить, приносят ли трафик страницы, попавшие в индекс, полезно научиться читать отчёт об эффективности.

Частая ошибка: после массового удаления и объединения страниц оставлять старые адреса с кодом 404. Если вы удаляете страницы, которые получают трафик или ссылки, сделайте для каждой одиночный 301-редирект на ближайшую релевантную страницу; массовые редиректы на нерелевантные страницы Google может расценить как soft 404.

Часто задаваемые вопросы

Через сколько дней новая страница попадёт в индекс?

Точного срока нет. На активных сайтах, которые регулярно публикуют контент, может хватить нескольких дней; у новых сайтов с малым количеством ссылок это может занять недели. Внутренние ссылки и sitemap сокращают этот срок.

Нужно ли исправлять каждую страницу, которая не попала в индекс?

Нет. Страницы фильтров, страницы «спасибо», дублирующиеся адреса — их отсутствие в индексе как раз ожидаемо. Сосредоточьтесь на важных страницах с контентом.

Поможет ли ежедневная отправка запроса на индексацию?

Нет. Если на странице ничего не изменилось, результат тоже не изменится, а квоту вы потратите впустую.

Почему страница выпала из индекса?

Возможно, качество страницы снизилось, она стала отдавать noindex или 404, изменился canonical или сервер стал недоступен. Сначала запустите живой тест в инструменте «Проверка URL».

Заключение

Чтобы решить проблемы индексации, нужно правильно читать причину в отчёте «Страницы» и отличать техническую проблему от проблемы качества. Препятствия (noindex, robots.txt, 5xx) устраняются быстро; страницы «просканировано, но не проиндексировано» требуют действительно лучшего контента и более сильной внутренней перелинковки. Когда страницы попадут в индекс, дальше речь идёт о видимости и кликах; для этого этапа пригодится наш чек-лист технического SEO, который поможет систематически проверить остальную часть сайта.

Не хватает кликов по вашему ключевому слову?

HitBot создаёт реальные сессии, которые ищут по целевому ключевому слову, находят ваш сайт и кликают по нему. Результат накапливается в Search Console в виде показов и кликов.

Другие статьи

Техническое SEO

SEO-дружественная структура URL: правила, примеры, ошибки

Каким должен быть SEO-дружественный URL? Правила коротких, строчных адресов с дефисами, хорошие и плохие примеры, работа с параметрами и что учесть при изменении существующих адресов.

Читать статью