Boussole SEO
Le guide du référencement naturel pour les professionnels
Accueil StratégieTechniqueContenuNetlinkingMesure À propos
Stratégie · Technique · Contenu · Liens · Mesure
Boussole SEO
Comprendre comment Google classe les pages, et ce qu'un site professionnel peut faire pour y gagner sa place
Accueil › SEO technique › Exploration et indexation : comment Google découvre vos pages
SEO technique

Exploration et indexation : comment Google découvre vos pages

Exploration et indexation : comment Google découvre vos pages

Avant de pouvoir être classée, une page doit être trouvée, lue et enregistrée par le moteur de recherche. Ces étapes portent des noms techniques, l’exploration (crawl) et l’indexation, mais leur logique est simple. Quand une page importante n’apparaît pas dans Google, le problème se situe très souvent à ce niveau, bien avant toute question de contenu ou de liens.

Les trois étapes

Google décrit son fonctionnement en trois temps :

  1. L’exploration. Un programme, Googlebot, parcourt le web en suivant les liens et en consultant les plans de site. Il télécharge les pages qu’il découvre.
  2. L’indexation. Google analyse le contenu de la page (texte, images, balises), essaie de comprendre son sujet, repère les doublons, puis décide de l’enregistrer ou non dans son index.
  3. La diffusion des résultats. Quand un internaute fait une recherche, le moteur sélectionne et classe les pages de l’index qui lui paraissent les plus utiles.

Une page explorée n’est pas forcément indexée, et une page indexée n’est pas forcément bien classée.

Comment Googlebot trouve les pages

Le robot découvre une page de deux manières principales : en suivant un lien depuis une page qu’il connaît déjà, ou en la trouvant dans un plan de site XML. Une page qui ne reçoit aucun lien, ni interne ni externe, et qui ne figure pas dans le plan de site, est dite « orpheline » : elle risque de ne jamais être découverte. C’est l’une des raisons pour lesquelles le maillage interne est si important.

Le fichier robots.txt

Placé à la racine du site, le fichier robots.txt indique aux robots les zones qu’ils ne doivent pas explorer. Il sert par exemple à éviter que les robots perdent du temps sur des pages de recherche interne ou des filtres qui génèrent des milliers d’adresses.

Un point est souvent mal compris : bloquer une page dans robots.txt n’empêche pas son indexation. Si d’autres pages pointent vers elle, Google peut l’indexer sans en connaître le contenu. Pour exclure une page des résultats, il faut au contraire la laisser explorable et utiliser une balise noindex.

La balise noindex

La directive noindex, placée dans une balise meta ou dans un en-tête HTTP, demande au moteur de ne pas afficher la page dans ses résultats. Elle convient aux pages utiles aux visiteurs mais sans intérêt dans un moteur : pages de remerciement, résultats de recherche interne, archives pauvres. Pour être prise en compte, la page doit être explorable : un robot qui ne peut pas la lire ne voit pas la consigne.

Le plan de site XML

Le plan de site (sitemap) est un fichier qui liste les adresses que le propriétaire souhaite voir explorées. Il ne garantit pas l’indexation, mais il aide le moteur à découvrir les pages, en particulier sur les sites récents, volumineux ou mal reliés. La plupart des CMS le génèrent automatiquement. On le déclare dans Google Search Console et on peut aussi le mentionner dans le fichier robots.txt.

Un bon plan de site ne contient que des pages qui renvoient un code 200, qui sont indexables et qui correspondent à leur version canonique.

L’URL canonique

Un même contenu est souvent accessible par plusieurs adresses : avec ou sans paramètre de suivi, avec ou sans barre finale, en version imprimable. L’élément canonique (rel="canonical") indique au moteur quelle adresse il doit considérer comme la version de référence. C’est un signal, pas une obligation : Google peut choisir une autre version s’il estime que les indices contraires sont plus forts. Le sujet rejoint celui du contenu dupliqué.

Récapitulatif des outils

OutilRôleCe qu’il ne fait pas
robots.txtBloque l’exploration de certaines zonesN’empêche pas l’indexation
noindexExclut une page des résultatsNe fonctionne pas si l’exploration est bloquée
Sitemap XMLSignale les pages à explorerNe garantit pas l’indexation
CanoniqueDésigne la version de référenceReste une indication
Redirection 301Transfère une adresse vers une autre de façon durableNe doit pas viser une page sans rapport

Le budget d’exploration

Google ne peut pas explorer en permanence toutes les pages de tous les sites. Pour chaque site, il ajuste la quantité de pages explorées selon la capacité du serveur et l’intérêt qu’il porte au contenu. Google précise que cette question concerne surtout les très gros sites ou ceux dont les pages changent très souvent. Pour un site de quelques centaines de pages, l’essentiel est d’éviter de générer inutilement des milliers d’adresses (filtres, paramètres, archives) et de garder un serveur réactif, ce qui dépend aussi de l’hébergement web.

Diagnostiquer avec Search Console

Google Search Console offre deux outils précieux. Le rapport sur l’indexation des pages indique combien de pages sont indexées et pourquoi d’autres ne le sont pas : bloquées, exclues par noindex, détectées mais pas encore explorées, considérées comme des doublons. L’outil d’inspection d’URL montre, pour une adresse donnée, si elle est indexée, quelle version canonique Google a retenue et comment il voit la page. Notre guide de Google Search Console détaille ces rapports.

En résumé

L’exploration et l’indexation sont les conditions préalables à tout classement. Des liens internes solides, un plan de site propre, un usage réfléchi de robots.txt, de noindex et des canoniques suffisent dans la grande majorité des cas à ce que les pages importantes soient trouvées et enregistrées.

Cet article peut contenir des liens partenaires. Ils n'influencent jamais ce que nous écrivons.