La meilleure approche pour optimiser le budget crawl d’un site web est de commencer par améliorer la vitesse globale du site et de simplifier sa structure pour aider les utilisateurs et le Googlebot à naviguer rapidement sur le site.
Le budget crawl est un concept clé pour les professionnels du référencement car une mauvaise gestion de celui-ci peut conduire à ce que Google n’indexe pas les pages web correctement ou complètement et, plus important encore, à ce qu’il perde un précieux trafic de recherche.
La plupart des sites n’ont pas à se soucier du budget crawl. En revanche, si vous gérez un site web de plus de 500 pages, vous devez vous concentrer sur l’optimisation du budget crawl de votre site.
Quelques éléments qui peuvent influer l’utilisation du budget crawl d’un site web
Comme je l’ai déjà dit, la première chose à faire est de tester la vitesse de chargement du site avec les outils offerts gratuitement par Google comme PageSpeed Insights. Une fois les résultats obtenus, vous devez commencer par améliorer la vitesse globale du site et simplifier la structure du site lui-même, car ces deux aspects aideront à la fois les utilisateurs et Googlebot.
Vous devez ensuite commencer à travailler sur les liens internes, résoudre les problèmes de duplication du contenu et supprimer les chaînes de redirection.
Voici donc la prochaine étape qui consistera à évaluer tous les facteurs susceptibles d’affecter le budget crawl :
- Duplication du contenu du site
- Pages avec des erreurs mineures
- Contenu de mauvaise qualité et spam
- Navigation à facettes et paramètres URL
- Pages piratées
Lorsque vous parlez d’améliorer la vitesse du site, vous devez toujours vous rappeler que Google dit que « rendre un site plus rapide améliore l’expérience de l’utilisateur et augmente également le taux de crawl ».
C’est pourquoi il est toujours bon d’activer la compression, de supprimer le JS qui bloque le rendu, de profiter du cache du navigateur et d’optimiser les images pour donner à Googlebot le temps de visiter et d’indexer toutes les pages.
Pour simplifier l’architecture du site web, vous devez structurer le site web couche par couche, en commençant par la page d’accueil, puis les catégories et enfin les pages de contenu et procéder à la révision de la structure en organisant les pages par thèmes et en utilisant les liens internes pour guider les crawlers.
Éviter les pages orphelines. Comme les pages orphelines n’ont pas de liens externes ou internes et n’ont pas de connexion directe avec le web, Google a du mal à trouver ces pages.
Limiter les contenus dupliqués est la base, car tout le monde, y compris Google, ne veut que des contenus de qualité et uniques. C’est pourquoi il est essentiel de mettre correctement en place les balises canoniques, les pages catégories en noindex et de limiter les URL avec des paramètres.
Supprimer les chaînes de redirection est tout aussi importante. Les redirections, en particulier dans les sites massifs, sont très fréquentes. Mais les redirections qui ont plus de trois sauts peuvent créer des problèmes pour Googlebot. Utilisez un crawler comme Screaming Frog pour trouver les redirections et les corriger en faisant pointer la bonne URL.
L’utilisation de liens internes est utile car Google donne la priorité à toutes les pages comportant de nombreux liens externes et internes, mais il n’est pas possible d’obtenir des backlinks vers chaque page du site. Avec un lien interne approprié, Googlebot peut atteindre chaque page du site.
Si vous avez affaire à un site à fort trafic (une grande marque de e-commerce, par exemple), le budget de crawl sera d’autant plus important à garder à l’esprit.