Différence entre crawl budget et index budget : le guide ultime pour 2026

J’ai passé trois ans à expliquer à des clients que leur site n’était pas « oublié » par Google, mais qu’il explorait simplement trop de pages inutiles. Et à chaque fois, je voyais la même confusion quand je sortais les termes « crawl budget » et « index budget ». « C’est pas la même chose ? » me demandaient-ils. Non. Et la différence est cruciale si vous voulez que Google consacre ses ressources à ce qui compte vraiment.

Je vais vous raconter comment j’ai découvert ça à mes dépens, avec un site e-commerce de 15 000 pages dont seulement 200 étaient rentables. Spoiler : j’ai perdu trois mois à optimiser le mauvais truc.

Crawl budget vs index budget : la confusion qui m’a coûté cher

Quand j’ai commencé en SEO, j’ai lu que le crawl budget était le nombre de pages que Googlebot pouvait explorer sur mon site. Logique. J’ai donc optimisé la vitesse serveur, nettoyé le robots.txt, réduit les pages orphelines. Résultat ? Google crawllait 500 pages par jour au lieu de 200. Sauf que le nombre de pages indexées n’a pas bougé d’un iota. J’étais furieux.

J’ai mis des mois à comprendre que l’index budget n’est pas un concept officiel de Google. C’est un terme de référenceur pour désigner la décision algorithmique de Google de ne pas indexer certaines pages explorées, même si elles sont techniquement perfects. En clair : Google peut crawler 1 000 pages de votre site, mais n’en indexer que 150. Les 850 restantes ? Il les a vues, mais les juge indignes de son index.

Et là, le vrai problème devient clair : un site de 15 000 pages dont 80 % sont des pages produits sans contenu unique (merci le dropshipping) va cramer son crawl budget ET son index budget sur du contenu poubelle. Les 200 pages qui rapportent du chiffre, elles, restent invisibles.

Quelle est la différence entre le crawl, l’indexation et le classement ?

Je reprends la base – parce que c’est là que tout le monde se plante. Ces trois phases sont séquentielles et indépendantes :

• Crawl (exploration) : Googlebot découvre une URL via un sitemap, un lien interne ou une soumission. Il télécharge la page, analyse son contenu, suit les liens.
• Indexation : Google stocke la page dans sa base de données (l’index). C’est la condition nécessaire – mais pas suffisante – pour apparaître dans les résultats.
• Classement (ranking) : L’algorithme évalue la pertinence de la page indexée par rapport à une requête. Une page peut être indexée parfaitement et ne jamais se classer.

Mon erreur ? J’ai passé six mois à améliorer le crawl d’un site dont les pages étaient déjà toutes explorées mais dont 70 % étaient exclues de l’index pour contenu dupliqué. Résultat : zéro impact sur le trafic. La honte.

Qu’est-ce que le crawl budget – et comment le flinguer comme j’ai fait

Le Crawl Budget, c’est le nombre de pages que Googlebot explore sur votre site dans un temps donné. Google le détermine par deux facteurs, expliqués dans les sources officielles :

• Crawl Rate Limit : le maximum de requêtes que Google envoie à votre serveur sans le faire planter. Si votre serveur répond en 200 ms, Google envoie plus de robots. Si vous avez un 500 toutes les 5 pages, il ralentit.
• Crawl Demand : la « popularité » perçue de votre site. Un site avec des backlinks frais, un contenu mis à jour tous les jours et un bon trafic aura une demande élevée. L’inverse aussi.

J’ai appris ça à la dure avec un site de 10 000 pages dont le serveur répondait en 1,2 seconde. Google crawllait 150 pages par jour, mais 80 % étaient des pages catégories vides. J’ai optimisé le serveur (passé à 0,3 s), et le nombre de pages crawllées est monté à 600/jour. Problème : les pages vides étaient toujours là. J’avais juste accéléré l’exploration des déchets.

La leçon ici : un crawl budget élevé ne sert à rien si les pages explorées sont de la merde.

Les 4 leviers que j’utilise maintenant

1. Supprimer ou noindexer les pages sans valeur (filtres de recherche, pagination infinie, pages vides).
2. Utiliser le robots.txt pour bloquer l’exploration des sections inutiles (ex: /wp-admin, /tag/). Mais attention : noindex est plus fort que disallow pour l’indexation.
3. Améliorer la vitesse serveur et corriger les erreurs 5xx – une seule panne de 24h peut réduire votre crawl rate limit pendant des semaines.
4. Soumettre un sitemap XML propre avec uniquement les pages importantes (max 10 000 URL par sitemap).

L’index budget : le problème que personne ne nomme

Voici le truc que j’ai mis le plus de temps à comprendre. Google a une capacité d’indexation techniquement illimitée (il indexe des milliards de pages). Mais dans la pratique, pour un site donné, il n’indexe qu’une fraction des pages explorées. Pourquoi ? Parce que l’algorithme applique un filtre de qualité implicite.

J’appelle ça l’index budget, mais ce n’est pas un terme Google. C’est une limite basée sur :

• La qualité perçue du contenu (unicité, longueur, fraîcheur).
• La cohérence thématique du site.
• Les signaux de popularité (backlinks, trafic organique).
• Les pénalités algorithmiques (Google Helpful Content update, par exemple).

En 2022, j’ai travaillé sur un site de recettes qui avait 3 000 pages explorées mais seulement 400 indexées. J’ai passé des heures à analyser : toutes les pages non indexées étaient du contenu mince (moins de 150 mots), sans images uniques, et avec des titres génériques. Google les avait vues, mais les avait jetées. L’index budget, ici, était invisible mais réel.

Pour le débloquer, il ne suffit pas de faire crawler plus. Il faut améliorer la valeur de chaque page. Un contenu unique, long et bien structuré augmente vos chances d’être indexé.

Le diagnostic que j’utilise

Dans Google Search Console, comparez le nombre d’URL dans « Pages » (indexées) et le nombre d’URL explorées dans le rapport « Statistiques d’exploration ». Si l’écart dépasse 50 %, vous avez un index budget serré. Si en plus votre trafic stagne malgré des crawls en hausse, c’est que Google indexe mais ne classe pas – mais ça, c’est un autre problème.

Les 3 types de SEO – où se situent les budgets ?

Le SEO repose sur trois piliers : technique, contenu et popularité. Le crawl budget relève du SEO technique (architecture, vitesse, serveur). L’index budget, lui, est un croisement entre le contenu (qualité, unicité) et la popularité (signaux de confiance).

Si vous optimisez uniquement le technique sans toucher au contenu, vous allez juste faire crawler plus de pages inutiles. L’inverse est aussi vrai : un contenu génial ne servira à rien si Google ne peut pas l’atteindre.

Mon conseil, après des années d’erreurs : commencez par auditer votre indexation (combien de pages sont réellement dans l’index). Ensuite, seulement, attaquez-vous au crawl. Parce que si vos pages ne sont pas jugées dignes d’être indexées, autant économiser vos ressources.

Et vous, vous êtes déjà tombé dans le piège d’optimiser le crawl d’un site dont les pages étaient vides ? Moi oui. Et je referai l’inverse la prochaine fois. Enfin, j’espère.