Pour optimiser le crawl de vos pages web, la question de la limite d’exploration des robots est essentielle. Google vient récemment de mettre à jour sa documentation. Si vous aviez des doutes sur le poids limite des fichiers explorés par les googlebots, vous avez désormais la réponse : 2 Mo. Ce plafond d’exploration est néanmoins valable uniquement pour Google Search. 

Pour les professionnels du SEO, cette clarification peut poser question. S’agit-il d’un changement majeur ? Quels sont les principaux sites web concernés par cette limite d’exploration des googlebots ? Quelles sont les bonnes pratiques à adopter pour optimiser le crawl ? Voici ce qu’il faut comprendre.

Limite d’exploration des googlebots : une clarification plutôt qu’un changement

Depuis quelques mois, Google s’est lancé dans une refonte de sa documentation. Cette limite d’exploration de 2 Mo ne serait donc pas une nouveauté, mais plutôt une règle qui n’avait jusque là pas été assez bien documentée. Il est toutefois à noter que cette limite plus stricte n’est prise en compte que pour l’exploration des pages qui seront indexées dans Google Search.

En ce qui concerne l’infrastructure générale de Google, la limite reste de 15 Mo. En matière de fichiers PDF, le poids maximal est de 64 Mo.

Exploration par les robots de Google : comment ça se passe ?

Pour explorer les pages d’un site web, les robots de Google naviguent de page en page, grâce aux liens qui s’y trouvent. Lors de l’exploration, les Googlebots chargent le code de la page et analysent les différents éléments : les balises HTML, les images, le texte, les données structurées, le maillage interne, etc. À l’issue de cette exploration, les robots déterminent si la page doit être indexée et de quelle manière elle doit apparaître dans la SERP.

Avec la limite de 2 Mo, le robot de Google n’explorera pas plus que les deux premiers mégaoctets du fichier HTML, du script JavaScript ou de la feuille de style CSS. Il est important de comprendre que la limite de 2 Mo s’applique à chaque type de ressource séparément (CSS, JavaScript, HTML, etc., à condition d’être compatible). Les éléments qui n’auront pas été crawlés ne seront peut-être pas pris en compte pour l’indexation.

Quels sont les sites web concernés par la limite d’exploration des googlebots ?

Vous êtes propriétaire ou gestionnaire de site web ? Vous vous demandez certainement si cette annonce de Google risque de compromettre votre visibilité sur la Search. Une page web a beau être riche de contenus pertinents et uniques, si Google ne les voit pas, vos efforts sont vains. L’exploration est une condition essentielle au développement de votre notoriété sur le web.

Rassurez-vous toutefois, cette clarification documentaire de Google n’aura probablement pas d’incidence sur l’indexation des pages de votre site ! En effet, il est assez rare que le fichier HTML d’une page dépasse les 2 Mo. La plupart des blogs, des sites vitrines ou des contenus éditoriaux respectent cette limite. Plus de 90 % des pages de sites ont un poids inférieur à 2 Mo.

Les sites les plus impactés peuvent être les sites e-commerce ou les sites qui utilisent de nombreux éléments dynamiques. Lorsque le code JavaScript est très présent sur le site, le poids de la page risque de devenir élevé. C’est également le cas des applications complexes ou des sites qui ont recours à des frameworks front-end assez lourds.

Quelles sont les bonnes pratiques à adopter pour faciliter l’exploration ?

seo-recommandations-google

Si vous craignez d’être impacté par cette limite d’exploration des Googlebots ou si vous désirez tout simplement optimiser le crawl de vos pages, voici quelques bonnes pratiques à adopter : 

  • vérifier le poids de vos fichiers à l’aide d’un outil comme Screaming Frog ;
  • réduire le poids du code HTML ;
  • placer les contenus importants au début du fichier HTML au cas où la limite des 2 Mo serait atteinte ;
  • optimiser le maillage interne pour faciliter le crawl des pages par les robots ;
  • recourir au lazy loading ;
  • minifier le code ;
  • fractionner les pages les plus lourdes ;
  • surveiller la bonne indexation de vos pages grâce à la Search Console.

Vous l’aurez compris, cette clarification des limites d’exploration des robots de Google n’aura que très peu d’incidence sur l’indexation des pages de vos sites, à condition qu’elles soient bien structurées. Ceci met une fois de plus en lumière l’importance d’une optimisation technique rigoureuse de chacune de vos pages. En adoptant de bonnes pratiques SEO, vous améliorez les conditions d’indexation, et donc votre visibilité.

    CONTACTEZ-NOUS