Index mobile first et crawl googlebot mobile: Etude de cas

Je vais vous parler d’une étude de cas qui met en évidence le rapport entre la mise à jour Mobile first, le crawl de Googlebot mobile, et l’impact sur le trafic du site.

Voici donc une étude que j’ai réalisé pour un client avec notamment une analyse de Googlebot via les logs. La demande initiale était  « Pourquoi mon site fait moins de trafic que l’année dernière ? » et « Comment rectifier le tir ? »

Pour tout référenceur, une question aussi vague est un vrai casse tête car les raisons peuvent être multiples. Mais bon, comme d’habitude j’ai débuté l’analyse méthodiquement en regardant les points suivants:

• Search console: Voir l’évolution des clics et des positions dans le temps.
• google analytics: Evolution du trafic comparé à l’année dernière (par canal, par device,..), . L’idée est de voir si il y a vraiment baisse, sur quel canal, à partir de quand, sur un device en particulier, et dans quelles proportions.
• Catégorisation du site: Après avoir catégorisé le site par type de pages, l’idée est de voir si un type de pages en particulier a été touché.
• Evolution des mises à jour Google: grâce à des outils comme accuranker, serpstat, je tente de voir si il existe des corrélations avec les baisses constatées et des changements dans les pages de résultats de Google, signes d’une probable mise à jour de Google.
• Analyse de logs: En analysant une période de 6 mois de logs, j’ai visualisé l’évolution du passage de Googlebot desktop et Googlebot mobile avec une vue par type de pages.

Jusqu’au point « analyse de logs » , j’avais pas vraiment identifié quelque chose de particulier, à part le fait qu’une certaine catégorie de pages était plus touché que les autres. Mais il s’est avéré que c’était encore un autre problème. Au moins, j’avais pu quantifier le problème et écarter certaines pistes.

Le nouvel index Mobile first

J’ai déja écrit un article sur les éléments d’optimisation pour l’index mobile first. Pour résumer, cette mise à jour lancé officiellement et de manière large le 26 mars, calcule les critères de positionnement d’un site par rapport à sa version mobile et non par rapport à la version ordinateur comme auparavant. Seul les sites compatibles mobiles se voient migrés vers le nouvel index. Pour les autres, mécaniquement, ils vont être distancés par ceux qui auront migrés et vont forcément perdre du trafic. A terme, il est force possible qu’ils soient même directement pénalisés pour ne pas être compatibles mobile.

Une des conséquences de la migration d’un site sur le nouvel index c’est notamment la hausse du crawl de Googlebot pour smartphone comme Google l’a confirmé dans l’annonce officielle du déploiement de l’index mobile first.

Mais comme on va le voir dans l’analyse qui suit, je crois que les premiers tests de cette mise à jour ont déja eu lieu d’après le comportement du crawl de Googlebot smartphone.

L’analyse de logs de Googlebot Mobile

Crawl utile et inutile sur une période d’analyse de 6 mois de logsAvant de commencer, il faut savoir que pour l’instant et en moyenne, 80% du crawl de Google se fait avec Googlebot classique et 20% avec googlebot mobile, spécialisé dans l’exploration des pages sur mobile.

Voici quelques éléments analysés lors de cette analyse de logs, analyse sur Googlebot mobile (aka googlebot smartphone) et googlebot desktop (le googlebot « normal »)

1. Age des pages actives:
   

   Age des pages actives

   Une page active est une page qui fait au moins une visite et l’âge des pages active permet de voir l’ancienneté des pages par rapport à leurs visites. ca permet notamment de voir si la baisse de trafic touche plutôt des pages fraîchement publiées ou des pages anciennes. Constat: un age des pages active qui augmente nettement en janvier,  accompagnée d’une baisse des pages actives.

2. Crawl inutile:
   
   Le crawl inutile représente l’exploration des pages par Google et qui ne font pas de visites sur une période donnée. Le crawl inutile est donc le crawl sur des pages explorées inutilement par Google, car ne faisant pas de visites. Le constat de l’analyse est un pic de crawl le 19  novembre et une nette baisse à partir de début janvier.
3. Crawl des nouvelles pages: suite logique de l’analyse, après avoir vu une nette augmentation du crawl inutile, j’ai donc été voir le crawl sur ces nouvelles pages inutiles. J’ai effectivement trouvé des catégories de pages inutiles  (pages dupliquées, pages sans objectif SEO, erreurs, etc..) qui étaient peu crawlées auparavant mais aussi une augmentation assez uniforme des autres catégories de pages.
4. Crawl Googlebot desktop vs Googlebot mobile: En fait, jusque là, je regardais l’évolution de tous les googlebot réunis, desktop et mobile. Mais lorsque j’ai séparé les 2, je me suis rendu compte que le pic de crawl du 19 novembre concernait uniquement Googlebot mobile et pas du tout googlebot desktop. En janvier en revanche, la baisse de crawl concerne surtout Googlebot desktop.
5. Evolution des visites et des pages actives:
   
   

   Nombre de visites par pages active

   bon, pas besoin d’analyse de logs pour le voir, mais ça confirme ce que j’ai déja vu sur Google analytics. C’est à dire une lente des visites depuis novembre et nette baisse début janvier.

Corrélations

Hausse du crawl de Googlebot mobile

Corrélation 1: Nette et brusque Augmentation du crawl de Googlebot mobile début novembre et baisse progressive du trafic à partir de cette date

Corrélation 2: Nette et brusque Baisse du crawl de Googlebot desktop début janvier avec nette baisse du trafic à partir de cette date

Hypothèses

Il faut savoir que le site utilise une version mobile en dynamic serving (voir cet article sur les différents types de sites mobiles), c’est à dire un site qui affiche une version mobile et différente de la version desktop en fonction du support de l’internaute et sur la même url. C’est différent du responsive design où on a affaire au même site qui s’adapte en fonction du support. Le fait est que Google n’a pas bien compris ce site en dynamic serving et qu’il était vraiment différent de la version ordinateur (structure différente, optimisations mobiles pas en place, etc..). Mon hypothèse est que Google a testé le site pour voir si il était compatible mobile, il s’est rendu compte que c’était pas le cas et a donc décidé de le « pénaliser ».

Etape 1 de la pénalisation: Baisse du crawl global du site après le pic de crawl de Googlebot mobile début novembre. Ce qui s’est accompagné mécaniquement et naturellement d’une baisse progressive du trafic

 Etape 2 de la pénalisation: Pareil mais en janvier et de manière plus brutale Une mise à jour de Google a certainement eu lieu à ce moment là afin de commencer à pénaliser les sites non compatibles mobile. C’est d’ailleurs confirmé sur les outils de monitoring des résultats de Google qui constate de fortes variations début janvier.

Conclusion

La recommandation fut de passer le site en responsive avec un accompagnement à la migration, plutôt que d’optimiser la version en dynamic serving, beaucoup trop aléatoire et trop risqué en vu de ce qu’on sait sur le nouvel index mobile first. Au passage, j’ai inclus plusieurs optimisations, techniques, structurelles et sémantiques. C’est en cours, je vous tiendrais peut-être au courant !

Je pense que Google a déjà commencé à tester la compatibilité des sites sur mobile avant l’annonce officielle du déploiement massif le 26 mars. Et afin d’éviter des chutes brutales du trafic après le lancement de cette mise à jour, il a commencé à « pénaliser » les sites en amont afin de rendre le passage de cette mise à jour moins douloureuse. Je pense que Google a tiré les leçons de ses premières mises à jour brutales comme Panda et Penguin où certains sites ont vue leur trafic baisser de 90% du jour au lendemain. Ce type de phénomènes a soulevé un tollé général et crée un certain désamour de la marque Google.

L’index mobile first va cohabiter un certain temps avec l’index normal, le temps que les sites compatibles mobiles migrent vers le nouvel index. Mais l’index classique ne va pas durer éternellement, et ceux qui n’auront pas fait le nécéssaire pour avoir un site mobile friendly vont se voir fortement pénalisés. D’où cet alignement à la baisse en amont afin que ce soit moins brutal. C’est des hypothèses bien-sûr mais jusqu’à maintenant, j’ai plutôt du flair, j’avais par exemple prédit dans un de mes articles de veille que la vitesse des pages serait un point essentiel des critères de l’index mobile first.

A propos de Serge Esteves

Consultant SEO / Webmarketing : Techniques avancées en référencement combinées aux leviers du marketing entrant (UX, CRO, analytics, content marketing, ereputation, ..).