Les URL non autorisées n’affectent pas le crawl budget

Les robots de Google ont un budget déterminé et un temps limité pour analyser votre site.

Google ne passe qu’un temps limité sur votre site : c’est le crawl budget.

Qu’est-ce que le crawl budget ?

Le crawl budget désigne le budget d’exploration demandé par Googlebot, le robot de Google, pour analyser votre site web. Il délimite le nombre de pages que celui-ci va crawler selon la taille de votre site et la vitesse d’exploration. Le crawl budget est calculé en termes de limite de temps alloué à l’analyse d’un site. C’est à partir de cette technique que votre site web pourra être classé sur Google.

Les URL non autorisées, ou plus communément appelées «no index», sont des pages sur le site web d`une entreprise qui ne seront pas crawlées par les robots de Google. Ce code spécifique peut être inscrit dans le robot.txt pour bloquer un site en entier ou pour bloquer des URL spécifiques lors du crawl. De ce fait, le temps du budget crawl est maximisé en passant plus de temps sur d’autres pages plus intéressantes pour le moteur de recherche.

Peux-t-on sauver du temps de crawl budget ?

Plusieurs entreprises pensent encore aujourd’hui que le fait d’ajouter le code «no index» dans le robot.txt à certaines pages de leur site web leur permet de sauver du temps de crawl budget et que cela est bénéfique pour le référencement. Elles croient que les robots d’indexation peuvent passer par-dessus certaines pages jugées inutiles pour l’indexation du site afin de faire sauver du temps aux robots et pour maximiser l’efficacité du crawl budget.

Une mise à jour récente montre que les URL non autorisées n’affectent plus le crawl budget. Cela veut dire que les robots peuvent analyser les URL non autorisées d’un site web sans que cela ne nuise à l’efficacité temporelle du crawl budget et par le fait même du référencement. En fait, votre site ne sera pas pénalisé s’il comporte des pages «no index» et qu’elles sont analysées par Google pour son classement dans le moteur de recherche. Google effectue régulièrement l’analyse des sites web grâce à des robots nommés Googlebot. Lorsque ces derniers entrent sur vos pages, ils analysent en détail leur performance pour indexer le site web.

Par contre, d’autres facteurs peuvent effectivement nuire au crawl budget, comme des pages d’erreur, du contenu de faible qualité ou du contenu dupliqué qui se retrouve sur un site web. Il est impératif de bien vérifier ces problèmes techniques pour éviter que cela nuise au référencement.