Le budget crawl (ou budget d’exploration) est le nombre d’URL que Google peut et veut explorer sur votre site pendant une période donnée. Si ce budget est mal utilisé, certaines pages ne seront jamais crawlées, jamais indexées, et jamais visibles dans les résultats de recherche. Autrement dit : elles n’existent pas pour Google. Comprendre ce mécanisme est la première étape pour reprendre le contrôle de votre indexation.
Résumé
- le budget crawl est l’ensemble des URL que Google peut et veut explorer sur votre site, déterminé par le crawl demand (intérêt de Google) et le crawl capacity (capacité technique du serveur).
- une page non crawlée est une page invisible dans Google : zéro indexation, zéro trafic organique.
- 85 % des problèmes de crawl majeurs proviennent de l’index bloat : navigation facettée, paramètres d’action, dates infinies et redirections en chaîne.
- la vitesse du serveur influence directement le nombre de connexions parallèles que Googlebot établit : visez un temps de réponse inférieur à 2 secondes.
- le ratio découvert/crawlé est un indicateur clé : en dessous de 3, le budget est sain ; au-dessus de 10, la situation est urgente.
- le noindex consomme du budget crawl car Google doit crawler la page pour lire la directive.
- la qualité du contenu est le facteur de plus en plus déterminant dans l’allocation du budget crawl par Google.
Qu’est-ce que le budget crawl en SEO ?
Google définit officiellement le budget crawl comme l’ensemble des URL que Googlebot peut et souhaite explorer. Ce n’est pas un chiffre fixe attribué à votre site. C’est une enveloppe dynamique, calculée en temps réel, qui dépend à la fois de vos capacités techniques et de l’intérêt que Google porte à vos contenus.
Pour bien visualiser le concept, imaginez Googlebot comme un visiteur qui dispose d’un temps limité dans un musée. Il ne peut pas voir toutes les salles. Il choisit celles qui lui semblent les plus intéressantes et accessibles. Si certaines salles sont fermées, mal éclairées ou vides, il passe son chemin.
Lors de chaque passage, Googlebot évalue plusieurs éléments : la page est-elle indexable ? Le contenu est-il frais ? Apporte-t-il une valeur réelle à l’utilisateur ? Ces critères déterminent si le robot poursuit son exploration ou s’arrête.
Une distinction fondamentale s’impose ici. Crawlabilité et budget crawl sont deux notions différentes. La crawlabilité répond à la question “Google peut-il accéder à cette page ?”. Le budget crawl répond à une autre question : “Google va-t-il décider de l’explorer ?”. Une page peut être parfaitement accessible mais jamais visitée si le budget est épuisé ailleurs.
Googlebot (le robot d’exploration de Google) ajuste automatiquement le nombre de requêtes parallèles qu’il envoie à votre serveur. Gary Illyes, analyste chez Google, a décrit ce comportement en expliquant que Googlebot cherche à se comporter en “bon citoyen du web”. Il ne veut pas surcharger votre serveur. Mais cette politesse a un revers : si votre site gaspille son budget sur des pages inutiles, les pages importantes restent dans l’ombre.
Comment fonctionne le budget crawl ?
Le budget crawl repose sur deux composantes. Google l’a confirmé dans sa documentation officielle. Ces deux facteurs interagissent pour définir l’intensité et la fréquence d’exploration de votre site.
Crawl demand : l’intention de Google
Le crawl demand (ou demande d’exploration) représente l’intérêt que Google porte à votre site. C’est la réponse à cette question : à quelle fréquence et avec quelle intensité Google veut-il vous explorer ?
Plusieurs facteurs influencent cette demande. La popularité perçue de votre site joue un rôle majeur : plus vous recevez de liens entrants et de trafic, plus Google considère votre contenu comme pertinent. La fréquence de mise à jour compte aussi. Un site qui publie et modifie régulièrement ses contenus envoie un signal de fraîcheur. La qualité et l’unicité du contenu, la pertinence par rapport aux recherches des utilisateurs, et la taille de l’inventaire perçu (le nombre d’URL que Google connaît) complètent le tableau.
L’impact est direct. Un site d’actualités publiant plusieurs articles par jour sera crawlé dix fois plus souvent qu’un blog mis à jour une fois par semaine. Et si la demande est faible, Google crawle moins, même si la capacité technique du serveur le permettrait.
Crawl capacity : la capacité du serveur
Le crawl capacity (ou capacité d’exploration) correspond à la limite technique : combien de connexions parallèles Googlebot peut ouvrir et quel délai il doit respecter entre chaque requête.
Google adapte ce paramètre automatiquement en fonction de trois indicateurs. Le temps de réponse du serveur (TTFB, pour Time To First Byte) est le premier signal. Si votre serveur répond en moins de 2 secondes, Google augmente le nombre de connexions simultanées. S’il met 8 secondes à répondre, Google réduit la cadence. Les erreurs serveur (codes 5xx) constituent le deuxième indicateur. Trop d’erreurs et Googlebot ralentit. Enfin, la charge serveur détectée influence la décision : si le site semble saturé, le robot recule.
Nous avons testé ce mécanisme sur plusieurs sites clients. La corrélation entre vitesse serveur et fréquence de crawl est nette. Chaque seconde gagnée sur le temps de réponse se traduit par une hausse visible des requêtes Googlebot dans les logs.
Pourquoi le budget crawl est critique pour votre SEO
L’impact direct sur l’indexation
La chaîne est simple et implacable : une page non crawlée est une page non indexée. Une page non indexée génère zéro trafic organique. Pour les petits sites de quelques dizaines de pages, le budget crawl pose rarement problème. Mais dès que votre site dépasse quelques centaines d’URL, la gestion du budget devient un levier stratégique.
Prenons un cas concret. Un site e-commerce lance 100 nouveaux produits. Sans optimisation du budget crawl, seuls 20 de ces produits sont crawlés dans les 30 premiers jours. Les 80 autres restent invisibles dans Google pendant des semaines. Pendant ce temps, les concurrents qui maîtrisent leur budget crawl sont déjà positionnés.
Le gaspillage : la vraie problématique
Selon les données partagées par Google en 2025, 85 % des problèmes de crawl majeurs proviennent de l’index bloat (inflation de l’index). Le budget est dépensé sur des URL sans valeur : des URL paramétrisées dupliquées générées par les filtres e-commerce, des pages en soft 404 (contenu quasi-vide mais code HTTP 200), des patterns d’URL infinis comme les calendriers de dates, ou encore des paramètres d’action (?add-to-cart, ?favorite).
La conséquence est mécanique. Si votre site génère 100 000 URL mais que Googlebot n’en explore que 5 000 par jour, il faut 20 jours pour un passage complet. Pendant ce temps, vos pages stratégiques attendent leur tour derrière des milliers de pages inutiles.
Impact sur la compétitivité SEO
Le budget crawl a un effet direct sur votre réactivité face à la concurrence. Imaginons que vous et un concurrent mettez à jour un article sur le même mot-clé. Chez lui, la page est recrawlée en 2 jours grâce à un budget sain. Chez vous, 15 jours. Pendant ce décalage, c’est son contenu mis à jour qui se positionne. Le manque à gagner en trafic est mesurable et souvent sous-estimé.
Les 4 tueurs de budget crawl identifiés par Google en 2025
Lors du podcast “Search Off the Record”, Gary Illyes et Martin Splitt ont dévoilé les quatre principales causes de gaspillage de budget crawl, basées sur les données internes de Google pour l’année 2025.
La navigation à facette
Les filtres de navigation e-commerce (couleur, taille, prix, marque) créent des combinaisons d’URL pour chaque sélection. Une page catégorie /chaussures associée à trois couleurs, cinq tailles et quatre fourchettes de prix peut engendrer des centaines de variantes : /chaussures?color=rouge&size=42&price=50-100.
La navigation facettée représente environ la moitié de tous les rapports de problèmes de crawl majeurs selon Google. Googlebot explore chaque combinaison comme s’il s’agissait d’une page distincte. Il passe en mode découverte et tente de toutes les parcourir, épuisant le budget avant d’atteindre les fiches produits réelles.
La solution repose sur l’implémentation de balises canonical qui pointent vers la page principale, et sur le blocage des paramètres de filtres dans le fichier robots.txt.
Les paramètres d’action
Les URL contenant des paramètres comme ?add-to-cart=true, ?favorite=1, ?compare ou ?checkout génèrent une nouvelle URL à chaque interaction utilisateur. Pour Googlebot, chacune de ces URL est une page potentiellement indexable.
Environ 25 % du gaspillage de budget crawl provient de ces paramètres d’action. Un simple bouton “Ajouter au panier” utilisant un paramètre GET peut doubler le nombre d’URL visibles par Googlebot. La correction passe par un blocage via robots.txt (Disallow: /*?add-to-cart=) et la configuration des paramètres d’URL dans la Google Search Console (GSC).
Les pièges de dates infinies
Les calendriers d’événements générés dynamiquement sont un piège classique. Un plugin de calendrier crée une URL pour chaque mois : /events/january-2025, /events/february-2025… et rien ne l’empêche de générer /events/january-3000.
Google a constaté des cas où ces plugins généraient des pièges infinis sur chaque chemin d’un site web. Googlebot se retrouve dans une boucle d’exploration, consommant la totalité du budget sur des pages vides. Pour s’en protéger, bloquez les patterns de dates futures dans le fichier robots.txt et vérifiez les URL explorées dans vos logs serveur.
Les URL paramétrisées en boucle
Les redirections en chaîne et la pagination sans fin constituent le quatrième tueur. Une page /page/1 renvoie vers /page/2, puis /page/3, et ainsi de suite jusqu’à /page/500 ou plus. Le crawl ne se termine jamais sur cette section du site.
Les redirections en chaîne posent le même problème. Si /ancienne-url redirige vers /url-intermediaire, qui redirige vers /url-finale, chaque étape consomme du budget. La solution passe par une gestion correcte de la pagination avec l’attribut rel=”next” et des redirections directes en une seule étape.
Comment mesurer votre budget crawl actuellement ?
Via Google Search Console
L’outil natif pour surveiller votre budget crawl se trouve dans la Google Search Console. Accédez-y via Paramètres > Statistiques sur l’exploration. Le rapport affiche le nombre de requêtes par jour, le temps de réponse moyen du serveur et la taille totale téléchargée par Googlebot.
Ce rapport couvre les 90 derniers jours. Une courbe stable indique un budget stable. Une décroissance progressive signale un problème technique ou une baisse de la demande de Google. La limite de cet outil : il offre une vision globale sans détail par page individuelle.
Analyse des logs serveur
Pour une vision granulaire, l’analyse des logs serveur est indispensable. Des outils comme Screaming Frog Log Analyzer, Botify ou OnCrawl permettent d’extraire chaque hit de Googlebot : URL crawlée, code de statut retourné, temps de réponse par page.
Cette approche révèle exactement où le budget est dépensé. Combien de requêtes aboutissent sur des 404, des soft 404, des redirections ? Ces données orientent les actions correctives avec précision. Seule contrainte : l’accès aux logs bruts du serveur, ce qui n’est pas toujours simple selon l’hébergement.
Calcul du ratio découvert/crawlé
Un indicateur simple permet d’évaluer la santé de votre budget. Divisez le nombre d’URL découvertes par le nombre d’URL crawlées par jour.
- ratio inférieur à 3 : budget sain, la situation est sous contrôle.
- ratio entre 3 et 10 : attention requise, des optimisations sont nécessaires.
- ratio supérieur à 10 : situation urgente, le budget est insuffisant pour couvrir le site.
Exemple concret : 50 000 URL découvertes, 5 000 crawlées par jour = ratio de 10. C’est le seuil critique. Pour trouver ces chiffres, consultez le rapport de couverture de l’index dans la GSC, en particulier la ligne “Découverte, actuellement non indexée”.
Facteurs qui augmentent votre budget crawl
La vitesse de chargement du site
La relation est directe : un site rapide obtient plus de connexions parallèles de Googlebot. Le benchmark à retenir : un temps de réponse inférieur à 2 secondes est optimal. Entre 2 et 5 secondes, la situation reste acceptable. Au-delà de 5 secondes, le budget crawl se détériore.
Les actions concrètes pour gagner en vitesse sont connues : optimisation des images (format WebP, compression), activation de la compression Gzip, utilisation d’un CDN (Content Delivery Network), minification des fichiers CSS et JavaScript. Google PageSpeed Insights reste l’outil de référence pour mesurer et suivre ces améliorations.
La pertinence et la fraîcheur du contenu
Google augmente le budget des sites qui se mettent à jour régulièrement, proposent du contenu unique et répondent à des requêtes de recherche populaires. À l’inverse, un contenu de faible qualité entraîne une baisse du crawl demand.
Publier régulièrement envoie un signal de fraîcheur à Googlebot. On recommande de maintenir un rythme de publication constant plutôt que de publier en rafale puis de disparaître pendant des semaines. Ce signal augmente automatiquement la demande d’exploration.
La réduction de l’inventaire d’URL inutiles
Voici un paradoxe qui surprend souvent. Réduire le nombre total d’URL n’entraîne pas moins de crawl. Cela augmente le budget crawl par page utile. Le budget total reste constant, mais il se concentre sur les pages qui comptent.
La stratégie consiste à éliminer les doublons, à mettre en place des balises canonical et à supprimer les pages sans valeur. Si vous passez de 100 000 à 50 000 URL après un nettoyage, le nombre de crawls par page utile double mécaniquement.
Un bon maillage interne
Le linking interne guide Googlebot. Les pages bien maillées sont crawlées en priorité. Une structure claire (page d’accueil → catégorie → page stratégique) garantit un accès rapide aux contenus importants.
Le risque inverse est réel. Un mauvais maillage interne produit des pages orphelines (sans aucun lien entrant depuis le reste du site). Ces pages consomment du budget quand Googlebot les trouve par d’autres chemins, mais elles ne bénéficient d’aucune priorisation.
Les erreurs à éviter absolument
Ne pas utiliser robots.txt pour augmenter le budget
L’erreur est fréquente. Beaucoup pensent que bloquer des pages dans le robots.txt libère automatiquement du budget pour les autres pages. Google ne redistribue pas automatiquement le budget libéré vers d’autres pages, sauf si votre site atteint déjà sa limite de capacité serveur.
Le robots.txt sert à bloquer définitivement les pages que vous ne voulez pas voir crawlées. Ce n’est pas un outil de réallocation de budget. Pour gérer les paramètres d’URL, la configuration dans la Google Search Console est plus adaptée.
Laisser des pages 404 et soft 404
Googlebot revient sur les pages en erreur. Chaque tentative de crawl sur une 404 est du budget gaspillé. Les pages en soft 404 continuent à être crawlées et gaspillent votre budget. Une page quasi-vide qui retourne un code 200 au lieu d’un 404 est particulièrement problématique. Googlebot la visite, constate qu’elle n’a pas de contenu utile, mais revient quand même plus tard.
La détection se fait dans le rapport de couverture de l’index de la Google Search Console. La correction consiste à retourner un code 404 ou 410 (suppression définitive) pour les pages qui n’existent plus.
Créer des chaînes de redirections
Chaque redirection dans une chaîne consomme une unité de budget crawl. Si /ancienne-url redirige vers /url-moyenne, qui redirige vers /url-finale, trois crawls sont nécessaires pour atteindre la destination. La bonne pratique : une seule redirection, directement vers l’URL finale.
Pour auditer vos chaînes de redirections, Screaming Frog détecte automatiquement les chaînes lors d’un crawl. Corrigez chaque chaîne identifiée en mettant à jour la redirection initiale vers la destination finale.
Utiliser noindex au lieu de robots.txt
C’est une erreur technique qui coûte cher en budget. Google crawle quand même une page avec une balise noindex, car il doit accéder à la page pour lire la directive, ce qui gaspille du budget d’exploration. Le robot explore la page, découvre le noindex, et ne l’indexe pas. Mais le crawl a bien eu lieu.
La règle est simple. Utilisez le robots.txt pour les pages que Google ne doit pas crawler du tout. Réservez le noindex aux pages que Google doit pouvoir atteindre (par exemple pour suivre les liens qu’elles contiennent) mais que vous ne souhaitez pas voir apparaître dans l’index.
Stratégie d’optimisation du budget crawl
Pour un site e-commerce (1 000+ produits)
Le diagnostic typique révèle que 80 % du budget est absorbé par les filtres de navigation. Le plan d’action commence par l’implémentation de balises canonical sur toutes les pages filtrées. Cette seule action peut libérer 20 % du budget rapidement. Ensuite, bloquez les patterns de filtres dans le robots.txt (?color=, ?size=, ?price=). Configurez les paramètres d’URL dans la GSC pour un crawl intelligent. Enfin, vérifiez l’absence de contenu dupliqué avec un crawl Screaming Frog.
Résultat attendu : environ 40 % du budget récupéré pour les fiches produits réelles. Le délai pour observer l’impact est de 2 à 3 semaines après implémentation.
Pour un blog ou site média (100+ articles par mois)
Le problème principal est l’accumulation d’URL anciennes combinée à des mises à jour fréquentes. La stratégie passe par la consolidation des anciens articles : fusionnez les contenus similaires et redirigez les URL obsolètes. Mettez en place un cache agressif sur les articles publiés pour accélérer le temps de réponse. Utilisez le sitemap XML pour prioriser les articles récents.
Le résultat : un budget concentré sur les contenus récents et une indexation accélérée des nouvelles publications. Comptez 3 à 4 semaines pour mesurer l’effet.
Pour un marketplace ou forum (10 millions+ d’URL)
À cette échelle, le diagnostic est souvent critique. L’index bloat est massif et les pièges infinis sont nombreux. L’audit doit commencer par une analyse des logs serveur via BigQuery ou Botify pour identifier exactement où le budget est consommé. Il faut ensuite identifier et bloquer les pièges (dates infinies, paramètres en boucle), segmenter les sitemaps par catégorie et priorité, et mettre en place un monitoring hebdomadaire des statistiques de crawl.
Pour les sites dépassant 1 million d’URL, un outil premium comme Botify ou OnCrawl devient quasi indispensable. L’investissement se justifie par le volume de trafic organique en jeu.
Monitoring continu de votre budget crawl
Cadence de monitoring recommandée
La surveillance du budget crawl ne se fait pas une seule fois. Nous avons observé que les problèmes de crawl apparaissent souvent progressivement, sans alerte visible. Voici la cadence que nous recommandons :
- chaque semaine : vérification des statistiques de crawl dans la GSC pour détecter les tendances.
- chaque mois : audit complet des logs serveur et calcul du ratio découvert/crawlé.
- chaque trimestre : audit technique complet avec un crawl Screaming Frog.
- à chaque événement majeur : après un changement de structure, une migration DNS ou une refonte de site.
KPI à suivre
Cinq indicateurs de performance permettent de piloter votre budget crawl. Le nombre de crawls par jour doit rester stable ou augmenter. Le temps de réponse moyen du serveur doit rester sous les 2 secondes. Le ratio découvert/crawlé doit viser un score inférieur à 3. Le pourcentage d’indexation (pages indexées / pages crawlées) doit idéalement dépasser 80 %. Les erreurs de crawl doivent tendre vers zéro.
Outils de monitoring
Trois niveaux d’outillage existent selon la taille de votre site. En gratuit, la Google Search Console couvre les besoins de base. En freemium, Screaming Frog (limité à 500 URL en version gratuite) et Semrush (module budget crawl) offrent des analyses plus poussées. En premium, Botify, OnCrawl et Sitebulb s’adressent aux sites complexes dépassant 100 000 URL.
10 actions concrètes à mettre en place dès maintenant
- Auditez vos statistiques de crawl dans la GSC (environ 2 heures) pour comprendre la situation actuelle.
- Lancez un crawl Screaming Frog (4 à 6 heures selon la taille du site) pour identifier l’index bloat.
- Vérifiez la vitesse du site (30 minutes) via Google PageSpeed Insights.
- Configurez les paramètres d’URL dans la GSC (1 heure), indispensable pour les sites e-commerce.
- Bloquez les patterns parasites dans le robots.txt (30 minutes) : ?add-to-cart, ?favorite, ?compare.
- Éliminez les soft 404 (2 à 4 heures) en utilisant le rapport de couverture de la Search Console.
- Implémentez les balises canonical (4 heures) sur toutes les pages dupliquées identifiées.
- Optimisez vos images (8 heures ou plus) en réduisant leur poids et en adoptant le format WebP.
- Nettoyez les chaînes de redirections (4 heures) pour limiter chaque parcours à une seule redirection.
- Créez un tableau de bord de monitoring (3 heures) combinant les données de la GSC et l’analyse des logs.
Évolutions attendues du budget crawl en 2025-2026
Le protocole IndexNow
IndexNow est un protocole ouvert lancé en 2021 par Microsoft Bing et Yandex. Il permet aux propriétaires de sites de notifier instantanément les moteurs de recherche lorsqu’un contenu est créé, modifié ou supprimé. Le principe est simple : au lieu d’attendre que le robot vienne découvrir le changement, vous lui envoyez le signal directement.
En décembre 2025, Google n’a toujours pas adopté IndexNow malgré des tests menés depuis 2021. Google continue de s’appuyer sur sa propre infrastructure de crawl. Pour Bing, Yandex, Naver et d’autres moteurs, IndexNow fonctionne et accélère l’indexation. En 2024, IndexNow atteignait 2,5 milliards d’URL soumises quotidiennement, et 17 % des URL cliquées sur Bing provenaient du protocole.
L’implémentation est simple. Des plugins WordPress (Rank Math, All in One SEO) l’activent en un clic. Cloudflare le propose en option native. IndexNow est un complément au budget crawl, pas un remplacement. Pour Google, les méthodes classiques (sitemaps XML, Google Search Console) restent indispensables.
Intelligence artificielle et prédiction du crawl
Google améliore progressivement sa capacité à prédire quels contenus méritent d’être explorés. L’allocation du budget crawl repose de plus en plus sur la qualité du contenu et les signaux utilisateurs, et de moins en moins sur des critères purement techniques.
L’implication pour les SEO est claire : la qualité du contenu devient le levier principal. Les astuces techniques pour “tromper” le budget crawl perdent en efficacité. Un contenu pertinent, structuré et régulièrement mis à jour attire naturellement plus de crawl qu’un site techniquement parfait mais pauvre en information utile.
Questions fréquentes sur le budget crawl
Le budget crawl concerne-t-il tous les sites web ?
En théorie, oui. Chaque site dispose d’un budget crawl. En pratique, les sites de moins de quelques centaines de pages n’ont pas à s’en préoccuper. Google parvient à les explorer intégralement sans difficulté. Le budget crawl devient un enjeu réel à partir de plusieurs milliers d’URL, et un facteur critique au-delà de 100 000 pages.
Comment savoir si mon budget crawl est insuffisant ?
Deux signaux doivent vous alerter. Le premier : un nombre élevé de pages “découvertes, actuellement non indexées” dans le rapport de couverture de la Google Search Console. Le second : une baisse progressive des requêtes de crawl par jour dans le rapport de statistiques d’exploration. Si vous constatez les deux simultanément, votre budget est probablement saturé par des URL sans valeur.
Peut-on augmenter son budget crawl manuellement ?
Non, il n’existe pas de paramètre pour demander à Google d’augmenter votre budget. En revanche, vous pouvez agir sur les deux leviers qui le déterminent. Améliorez la vitesse de votre serveur pour augmenter la crawl capacity. Publiez du contenu de qualité régulièrement pour stimuler le crawl demand. Google ajuste le budget automatiquement en réponse à ces signaux.
Quelle est la différence entre crawl budget et crawl rate ?
Le crawl rate (ou taux de crawl) désigne la vitesse à laquelle Googlebot envoie des requêtes à votre serveur, mesurée en nombre de requêtes par seconde. Le budget crawl est un concept plus large qui combine ce taux avec l’intérêt de Google pour vos contenus. Vous pouvez avoir un crawl rate élevé mais un budget mal utilisé si Googlebot explore des pages inutiles à grande vitesse.
Le budget crawl a-t-il un impact sur le positionnement ?
Pas directement. Le budget crawl n’est pas un facteur de classement. Mais il a un impact indirect majeur. Si une page n’est jamais crawlée, elle ne peut pas être indexée. Si elle n’est pas indexée, elle ne se positionne sur aucun mot-clé. Et si une mise à jour de contenu met des semaines à être recrawlée, votre page perd en fraîcheur face à des concurrents mieux optimisés.
Faut-il soumettre un sitemap XML pour améliorer le budget crawl ?
Le sitemap XML ne modifie pas le volume du budget crawl. Il aide Googlebot à prioriser les URL à explorer. Un sitemap bien structuré, contenant uniquement les pages indexables et à jour, oriente le crawl vers les contenus qui comptent. À l’inverse, un sitemap rempli d’URL en erreur ou de pages dupliquées envoie de mauvais signaux et dilue l’efficacité du crawl.
Les redirections 301 consomment-elles du budget crawl ?
Oui. Chaque redirection 301 rencontrée par Googlebot constitue une requête de crawl. Une redirection isolée n’est pas un problème. Mais des chaînes de redirections (A → B → C → D) multiplient la consommation. Google a précisé qu’il suit les redirections en chaîne, mais qu’au-delà de 5 sauts, il peut abandonner le suivi. Limitez chaque parcours à une seule redirection pour préserver votre budget.
Le budget crawl est-il partagé entre Googlebot et les autres robots ?
Non. Le budget crawl tel que défini par Google concerne uniquement Googlebot et ses variantes (Googlebot-Image, Googlebot-News, AdsBot). Chaque moteur de recherche gère son propre budget d’exploration. Cependant, tous ces robots partagent les mêmes ressources serveur. Si les crawlers d’IA (comme GPTBot) consomment une part importante de la bande passante, la capacité disponible pour Googlebot peut diminuer indirectement.