Aller au contenu
FR · ₺
Connexion au panneau Acheter un forfait
SEO technique

Budget de crawl (crawl budget) : définition et public concerné

6 min de lecture

Le budget de crawl (crawl budget) correspond au nombre de pages que Googlebot est prêt à explorer sur votre site pendant une période donnée, et qu'il souhaite explorer. Pour la plupart des petits et moyens sites, ce sujet n'est pas un problème ; la documentation de Google le dit d'ailleurs clairement. En revanche, pour les sites de commerce électronique, d'annonces ou d'actualité comptant des centaines de milliers d'adresses, le budget de crawl peut déterminer à quelle vitesse les nouvelles pages sont découvertes. Cet article explique qui est concerné, ce qui gaspille le budget et les étapes qui fonctionnent vraiment, sans exagération.

Qu'est-ce que le budget de crawl ?

Googlebot ne parcourt pas chaque adresse de votre site chaque jour. Ses ressources sont limitées et partagées entre des milliards de sites. La quantité d'exploration allouée à un site est appelée, de façon informelle, budget de crawl. Le point essentiel : le budget n'est pas un facteur de classement. Être exploré davantage ne signifie pas être mieux classé ; cela aide seulement vos pages à être découvertes et mises à jour plus rapidement.

Deux composantes : capacité d'exploration et demande

ComposanteSignificationDépend de
Limite de capacité d'explorationLe nombre de requêtes simultanées que Googlebot peut effectuer sans surcharger votre serveurTemps de réponse du serveur, taux d'erreurs (5xx), ressources d'hébergement
Demande d'explorationLa quantité que Google souhaite explorer sur votre siteTaille du site, popularité, fréquence de modification du contenu et ancienneté des pages sans mise à jour

Le volume d'exploration réel est le plus petit de ces deux éléments. Si votre serveur ralentit ou renvoie souvent des erreurs 5xx, Google réduit sa capacité. Si vos pages sont de faible qualité et peu intéressantes, la demande est déjà faible. Autrement dit, pour augmenter la capacité, misez sur les performances d'hébergement ; pour augmenter la demande, misez sur la qualité du contenu et la popularité.

Qui est concerné ?

Selon le guide de Google destiné aux grands sites, la gestion du budget de crawl a du sens pour les sites suivants :

  • Les sites comptant environ un million de pages uniques ou plus, dont le contenu change à fréquence moyenne (par exemple une fois par semaine).
  • Les sites comptant dix mille pages ou plus, dont le contenu change très souvent (chaque jour).
  • Les sites dont un grand nombre d'adresses sont en statut « Détectée - actuellement non indexée » dans Search Console.

Un site d'entreprise de quelques centaines ou milliers de pages, un blog ou une petite boutique n'entre pas dans ce groupe. Sur ces sites, si une nouvelle page tarde à être indexée, la cause vient en général de la qualité du contenu, du maillage interne ou d'un blocage technique, et non du budget de crawl. Commencez par écarter les causes listées dans notre guide des problèmes d'indexation.

Remarque honnête : sur un petit site, chercher à « augmenter mon budget de crawl » revient souvent à résoudre le mauvais problème. Vérifiez d'abord que la page est explorable, indexable et réellement utile.

Qu'est-ce qui gaspille le budget de crawl ?

Les principales sources de gaspillage identifiées par Google sont les suivantes :

  • Combinaisons de filtres et de tris (navigation à facettes) : lorsque, dans une catégorie, les options de couleur, de taille, de prix et de tri se combinent, la même liste de produits peut donner naissance à des milliers d'adresses paramétrées.
  • Identifiants de session et paramètres de suivi : des structures qui produisent une URL différente pour chaque visiteur.
  • Contenu dupliqué : la même page accessible à plusieurs adresses. Pour les regrouper, consultez notre article sur la balise canonical.
  • Pages soft 404 et 404 : des adresses inexistantes qui continuent d'être explorées. Voir 404 et SEO.
  • Longues chaînes de redirections : chaque étape consomme une requête. Voir la différence entre 301 et 302.
  • Espaces infinis : calendriers, liens « mois suivant » et autres générateurs d'URL sans fin.
  • Pages de faible qualité et minces : elles sont explorées sans être indexées, ce qui consomme le budget.
  • Serveur lent : plus le temps de réponse augmente, moins Googlebot explore de pages dans le même temps.

Comment le mesurer ?

  1. Rapport Statistiques d'exploration : dans Search Console, le rapport « Statistiques d'exploration », situé dans la section Paramètres, affiche le nombre de requêtes quotidiennes, le temps de réponse moyen, la répartition des codes de réponse et les types de fichiers. Commencez par observer les variations brutales du nombre total de requêtes et des taux 5xx/404.
  2. Journaux du serveur : seule source qui indique précisément quelles adresses sont explorées et à quelle fréquence. Vous y voyez les adresses paramétrées et les dossiers les plus visités par Googlebot.
  3. Rapport Pages : le nombre de pages en statut « Détectée - actuellement non indexée » et « Explorée - actuellement non indexée », ainsi que quelques exemples d'adresses.
  4. Comparaison avec le sitemap : comparez le nombre d'adresses du sitemap avec le nombre d'adresses uniques explorées dans les journaux.

Exemple : dans une boutique de 20 000 produits, si la plupart des requêtes de Googlebot dans les journaux visent des adresses paramétrées du type ?couleur=...&taille=...&tri=... et que les nouveaux produits mettent des jours à être indexés, le problème vient très probablement de la consommation du budget par les combinaisons de filtres. (Il s'agit d'un exemple hypothétique ; vérifiez-le sur votre propre site à l'aide des journaux.)

Étapes d'optimisation

  1. Gérez l'inventaire des URL. Bloquez avec robots.txt les zones que vous ne souhaitez pas explorer (résultats de recherche interne, combinaisons de filtres sans valeur). Pour apprendre à écrire ces règles, consultez notre guide robots.txt.
  2. Regroupez les doublons. Ramenez les adresses menant au même contenu vers une adresse unique, par redirection ou par canonical.
  3. Renvoyez un 404 ou un 410 pour le contenu supprimé définitivement. Google n'oublie pas une adresse connue, mais un 404/410 est un signal fort pour réduire son exploration.
  4. Nettoyez les soft 404. Les pages vides ou affichant « introuvable » doivent renvoyer un véritable code d'état.
  5. Gardez le sitemap à jour. N'y placez que les adresses que vous voulez voir indexées et qui renvoient un 200, et faites correspondre la valeur lastmod à une modification réelle. Pour le détail, consultez notre guide du sitemap XML.
  6. Raccourcissez les chaînes de redirections et faites pointer les liens internes directement vers l'adresse finale.
  7. Améliorez la vitesse des pages et du serveur. Plus le serveur accélère, plus la limite de capacité peut monter. Le cache et la qualité de l'hébergement sont ici déterminants.
  8. Mettez en avant les pages importantes grâce aux liens internes. Les pages proches de la page d'accueil et des pages souvent explorées sont plus faciles à découvrir. Notre stratégie de maillage interne traite ce sujet.
  9. Surveillez la santé du serveur. La surcharge, les réponses 5xx et 429 ralentissent Googlebot.

Exemple : gérer une catégorie avec filtres

La navigation filtrée est la source la plus typique des problèmes de budget de crawl. Dans une catégorie de chaussures, si chaque combinaison de couleur, de pointure, de marque et de tri génère sa propre adresse, une liste de cent produits peut se transformer en des milliers d'adresses explorables. Pour trancher, posez-vous la question suivante : les gens recherchent-ils réellement cette combinaison de filtres ?

  • Oui (par ex. « chaussures de course noires ») : développez la page comme une page cible à part entière, avec un titre, une description et un contenu propres, soutenue par un lien interne, et laissez-la explorable.
  • Non (par ex. « pointure 42 + prix croissant ») : limitez l'exploration avec robots.txt ou empêchez la génération de ces adresses par des liens de la page ; liez-les à la catégorie principale par canonical.
  • Les paramètres de tri et de session ne doivent jamais se retrouver dans l'index ; regroupez-les tous sur une seule adresse.

Remarque : Google ne peut pas voir la balise canonical sur les adresses bloquées par robots.txt. Ne vous fiez donc pas à la fois au blocage et à la canonical pour les mêmes adresses ; choisissez en connaissance de cause.

Idées reçues

Croyance répandueLa réalité
« Le noindex libère du budget de crawl. »Non. Googlebot demande quand même la page en noindex ; il ne fait que ne pas l'indexer. Pour réduire l'exploration, utilisez robots.txt ; pour retirer de l'index, utilisez noindex : sachez bien distinguer les deux.
« Plus je suis exploré, mieux je suis classé. »Le volume d'exploration n'est pas un signal de classement.
« Je peux augmenter la vitesse d'exploration dans Search Console. »Google a supprimé l'ancien outil de limitation de la vitesse d'exploration ; la vitesse est désormais déterminée automatiquement.
« Tous les sites ont un problème de budget. »La plupart des sites ne sont pas concernés ; le sujet n'est visible que sur les sites très volumineux ou qui changent très vite.
« Envoyer souvent le sitemap augmente l'exploration. »Le sitemap aide à la découverte, mais il ne force pas l'exploration. L'important est qu'il soit exact et à jour.

Toutes ces étapes font partie de votre audit technique ; pour un ordre de contrôle général, utilisez notre liste de contrôle SEO technique. Sur les sites générés en JavaScript, l'exploration et le rendu prennent un temps supplémentaire ; consultez aussi nos bases du SEO JavaScript. Le guide officiel de Google est disponible sur la page gestion du budget de crawl pour les grands sites.

Questions fréquentes

Comment connaître mon budget de crawl ?

Il n'existe pas de chiffre fixe. Le rapport Statistiques d'exploration de Search Console affiche le nombre de requêtes quotidiennes ; les journaux du serveur donnent le détail par adresse.

Le budget de crawl est-il important pour mon petit site ?

En général, non. Jusqu'à quelques milliers de pages, l'essentiel est la qualité du contenu, le maillage interne et la bonne santé technique de base.

Une page bloquée par robots.txt sort-elle de l'index ?

Non. Robots.txt empêche l'exploration, mais si cette adresse reçoit des liens externes, elle peut rester dans l'index. Pour la retirer de l'index, utilisez noindex, ce qui suppose que la page soit explorable.

Accélérer mon serveur augmente-t-il le budget ?

Lorsque le temps de réponse diminue, Google peut explorer davantage de pages dans le même laps de temps, ce qui peut relever la limite de capacité ; ce n'est toutefois pas un résultat garanti.

Conclusion

Le budget de crawl est un vrai sujet pour les grands sites, qu'ils doivent gérer ; pour les petits sites, c'est surtout un concept dont il n'est pas nécessaire de se soucier. Évaluez selon la taille de votre site : s'il est grand, suivez les statistiques d'exploration et les journaux, et réduisez les adresses inutiles ; s'il est petit, consacrez votre énergie au contenu et aux liens internes. Dans les deux cas, un serveur rapide, une structure d'URL propre et un sitemap à jour facilitent le travail de Googlebot. Pour développer la visibilité en vous appuyant sur ces bases techniques, notre article sur les méthodes d'augmentation du trafic organique vous donnera une vue d'ensemble.

Votre mot-clé manque de clics ?

HitBot génère de vraies sessions qui recherchent votre mot-clé cible, trouvent votre site et cliquent dessus. Le résultat s'accumule dans Search Console sous forme d'impressions et de clics.

Autres articles