Проблемы индексации Google — самая распространённая причина того, что страница, которая готова и опубликована, не появляется в результатах поиска. Если страница не попала в индекс Google, она не сможет ранжироваться, как бы хорош ни был её контент. В этом руководстве мы по одному разбираем статусы, с которыми вы столкнётесь в отчёте «Страницы» Search Console, объясняем, на что смотреть в каждом случае и когда нужно вмешаться, а когда достаточно подождать.
Что такое индексация и как понять, что с ней проблема?
Google сначала находит страницу, затем сканирует (загружает) её, после чего обрабатывает содержимое и добавляет в индекс. Страница, попавшая в индекс, может появиться в результатах поиска; не попавшая — не появится. Важное уточнение: Google не обязуется индексировать каждую просканированную страницу. Если страницы с низкой ценностью, дублирующие или не приносящие пользы сайту не попадают в индекс — это обычно нормально. Цель — не обнулить список «Не проиндексировано», а убедиться, что страницы, представляющие ценность, в этом списке отсутствуют.
Для быстрой первичной проверки есть три способа:
- Ввести в Google
site:вашдомен.ru/адрес-страницы(это грубый ориентир, точного результата он не даёт). - Вставить адрес в поле «Проверка URL» в Search Console. Подробнее — в нашем руководстве по началу работы с Search Console.
- Открыть в меню слева отчёт «Страницы» и посмотреть общую сводку проиндексированных и непроиндексированных страниц.
Как читать отчёт «Страницы»
Отчёт «Страницы» делится на две основные группы: «Проиндексировано» и «Не проиндексировано». В последней группе каждая строка показывает причину. Если нажать на строку, откроется список примеров адресов. Отчёт показывает адреса, которые Google знает; страницы вашего сайта, которые Google ещё ни разу не обнаружил, в нём не появятся.
Интерфейс и формулировки иногда меняются; приведённые ниже заголовки — те, что чаще всего встречаются в русском интерфейсе. При просмотре списка причин сначала смотрите на причины, которые затрагивают важные страницы, и только потом — на те, где самое большое количество адресов.
| Статус | Обычно означает | Первое действие |
|---|---|---|
| Просканировано — пока не проиндексировано | Google увидел страницу, но не счёл её достойной добавления в индекс | Качество контента, уникальность, внутренние ссылки |
| Найдено — пока не проиндексировано | Адрес известен, но сканирование ещё не проводилось | Внутренние ссылки, sitemap, скорость сервера |
| Альтернативная страница с корректным тегом canonical | Страница указывает на другой адрес как на основной | Обычно это не проблема; проверьте, что указано верно |
| Исключено тегом noindex | Страница сама просит исключить её из индекса | Проверьте, сделано ли это намеренно |
| Заблокировано в файле robots.txt | Google не может просканировать страницу | Пересмотрите правило |
| Мягкая ошибка 404 (soft 404) | Страница отдаёт код 200, но выглядит пустой | Настоящая 404 или добавление содержимого |
| Не найдено (404) | Адреса не существует | Если страница запланирована к удалению, ничего не трогайте |
«Просканировано — пока не проиндексировано»
Этот статус указывает, что проблема, скорее всего, связана не столько с технической стороной, сколько с качеством и ценностью. Google загрузил страницу, увидел содержимое и пока не добавил её в индекс. Причины могут быть такими:
- Контент слишком короткий, шаблонный или очень похож на другие страницы (тонкий или дублирующийся контент).
- На страницу почти не ведут внутренние ссылки с других страниц сайта; она выглядит малозначимой.
- Общее впечатление о качестве сайта невысокое; Google осторожно добавляет новые страницы в индекс.
- Страница новая; статус может самостоятельно исправиться через несколько недель.
Что делать: добавьте на страницу уникальную информацию и примеры, объедините похожие страницы в одну сильную, поставьте контекстные ссылки с релевантных статей. По этой теме поможет наша статья о стратегии внутренней перелинковки. Повторное нажатие кнопки «Запросить индексацию» без изменений на странице проблему не решит: если ничего не поменялось, Google примет то же решение.
«Найдено — пока не проиндексировано»
Google знает адрес (из sitemap или по ссылке), но до сканирования дело ещё не дошло. В небольших сайтах такой статус обычно временный. Если же множество адресов месяцами остаются в этом статусе, проверьте следующее:
- Скорость ответа сервера и ошибки: если сервер медленный или часто выдаёт ошибки, Google может снизить темп сканирования.
- Избыток ненужных адресов: адреса с параметрами, фильтрами и бесконечными комбинациями могут исчерпать ресурсы сканирования.
- Недостаток внутренних ссылок: адреса, которые есть только в sitemap и на которые не ведёт ни одна страница, получают низкий приоритет.
Важно: в sitemap включайте только те адреса, которые должны попасть в индекс, отдают код 200 и являются каноническими. Если в sitemap попадают битые, перенаправляемые или noindex-адреса, Google получает противоречивые сигналы.
Статусы canonical и дубликатов
Три статуса из этой группы часто путают:
- Альтернативная страница с корректным тегом canonical: страница сама указывает с помощью canonical на другой адрес как на основную версию. Для параметризованных или мобильных/AMP-адресов это ожидаемая ситуация.
- Дубликат, для которого пользователь не выбрал canonical: Google счёл страницу копией другой страницы, а вы не указали canonical. Явно отметьте основную версию.
- Google выбрал canonical, отличный от указанного пользователем: вы указали один адрес, а Google выбрал другой. Внутренние ссылки, sitemap и редиректы могут противоречить друг другу.
Практическое решение для третьего случая — чтобы внутренние ссылки, sitemap и canonical указывали на один и тот же адрес. Если хотите разобраться в логике canonical с самого начала, прочитайте нашу статью что такое тег canonical.
Блокировки noindex и robots.txt
Два механизма работают по-разному, и путаница между ними порождает самые запутанные ошибки.
noindex говорит, что страница не должна попадать в индекс; однако, чтобы увидеть эту директиву, Google должен иметь возможность просканировать страницу. А robots.txt блокирует сканирование, но не удаляет страницу из индекса.
- Если страница одновременно заблокирована в robots.txt и помечена noindex, директива noindex не будет прочитана.
- Если вы видите предупреждение «Проиндексировано, но заблокировано в файле robots.txt», значит, страница попала в индекс по адресу, поскольку на неё ведут ссылки с других сайтов. Если вы действительно хотите её убрать, снимите блокировку в robots.txt и добавьте noindex.
- Очень часто noindex, поставленный на время разработки, забывают снять при переносе на боевой сайт. Для важных страниц поищите в исходном коде
<meta name="robots" content="noindex">. Заголовок ответа сервераX-Robots-Tagдействует так же.
404, soft 404, ошибки 5xx и редиректы
Не найдено (404): для удалённой вами страницы это нормально, и само по себе это не требует штрафа. Если страница с ценностью по ошибке отдаёт 404, верните её или сделайте 301-редирект на ближайшую подходящую страницу.
Soft 404: страница отдаёт код 200, но показывает «Товар не найден», пустую категорию или почти пустое содержимое. Если страница действительно не нужна, верните 404 или 410; если нужна — улучшите её содержимое.
Ошибка сервера (5xx): Google не может получить страницу. Разовые сбои не страшны; если ошибки повторяются, изучите ресурсы сервера и логи.
Страница с перенаправлением: адрес ведёт на другое место; это не ошибка, а информационная строка. Если цепочка редиректов длинная, сократите её до одного шага и ставьте внутренние ссылки сразу на конечный адрес.
Пример: новые статьи блога не попадают в индекс
Гипотетический пример: владелец корпоративного сайта замечает, что из двадцати статей, опубликованных за последние два месяца, в индексе лишь шесть. В отчёте «Страницы» преобладающая причина — «Просканировано — пока не проиндексировано». В ходе проверки выясняется: большинство статей — это по 300–400 слов общих рассуждений, похожих друг на друга; ни на одну из них не ведёт ссылка из других статей, они есть только в sitemap. Решение состоит из трёх шагов: похожие статьи объединяются в одно подробное руководство, в остальные добавляются уникальные примеры и изображения, и с релевантных страниц ставятся контекстные внутренние ссылки. После такого исправления страницам обычно требуется несколько недель, чтобы попасть в индекс; запрос индексации без каких-либо изменений результата не даёт.
Урок этого примера: название статуса часто указывает на симптом, но не на причину. Чтобы найти причину, нужно посмотреть на страницу глазами Google; честный ответ на вопрос «эта страница полезнее уже имеющихся результатов по этой теме?» в большинстве случаев показывает решение проблемы «просканировано, но не проиндексировано».
Проверка исправления и запрос индексации
После устранения проблемы нажмите «Проверить исправление» в строке с нужной причиной. Google перепроверит примеры адресов и сообщит результат в течение нескольких дней или недель. Для отдельных важных страниц в инструменте «Проверка URL» есть также «Запросить индексацию»; однако у этого действия есть суточная квота, оно не решает проблему, а лишь может ускорить повторное сканирование. Правильный порядок действий такой:
- Определите причину (исходный код, код состояния, robots.txt).
- Исправьте страницу; если проблема в содержимом, действительно улучшите его.
- Обновите sitemap и внутренние ссылки.
- Проверьте live-версию URL, затем запросите индексацию и запустите проверку.
- Через две-три недели снова откройте отчёт и сравните результат.
Чтобы следить, приносят ли трафик страницы, попавшие в индекс, полезно научиться читать отчёт об эффективности.
Частая ошибка: после массового удаления и объединения страниц оставлять старые адреса с кодом 404. Если вы удаляете страницы, которые получают трафик или ссылки, сделайте для каждой одиночный 301-редирект на ближайшую релевантную страницу; массовые редиректы на нерелевантные страницы Google может расценить как soft 404.
Часто задаваемые вопросы
Через сколько дней новая страница попадёт в индекс?
Точного срока нет. На активных сайтах, которые регулярно публикуют контент, может хватить нескольких дней; у новых сайтов с малым количеством ссылок это может занять недели. Внутренние ссылки и sitemap сокращают этот срок.
Нужно ли исправлять каждую страницу, которая не попала в индекс?
Нет. Страницы фильтров, страницы «спасибо», дублирующиеся адреса — их отсутствие в индексе как раз ожидаемо. Сосредоточьтесь на важных страницах с контентом.
Поможет ли ежедневная отправка запроса на индексацию?
Нет. Если на странице ничего не изменилось, результат тоже не изменится, а квоту вы потратите впустую.
Почему страница выпала из индекса?
Возможно, качество страницы снизилось, она стала отдавать noindex или 404, изменился canonical или сервер стал недоступен. Сначала запустите живой тест в инструменте «Проверка URL».
Заключение
Чтобы решить проблемы индексации, нужно правильно читать причину в отчёте «Страницы» и отличать техническую проблему от проблемы качества. Препятствия (noindex, robots.txt, 5xx) устраняются быстро; страницы «просканировано, но не проиндексировано» требуют действительно лучшего контента и более сильной внутренней перелинковки. Когда страницы попадут в индекс, дальше речь идёт о видимости и кликах; для этого этапа пригодится наш чек-лист технического SEO, который поможет систематически проверить остальную часть сайта.