Eté 2006 : l'Indexation des Moteurs de Recherche Evolue
par Christophe Da Silva, d'après Kim Roach

De nombreux changements ont eu lieu sur les principaux moteurs de recherche. Google, Yahoo et MSN se sont tous les trois adaptés aux évolutions et aux transformations survenues sur le marché de la recherche. Google vient de franchir au mois de juillet dernier la barre des 60% de parts de marché aux Etats-Unis. Yahoo lance de nouveaux produits et MSN rebaptise ses robots d'indexation.

Si toutes ces transformations et ces nouveaux développements modifient le paysage des moteurs de recherche, cela a de toute évidence un impact sur les sites internet. De quelle manière, vous webmasters, cela peut également vous affecter ?

 

Google

Depuis 2003, Google avait pour habitude de crawler et d'indexer les pages au rythme d'une fois par mois. Ces updates portaient des noms comme Florida, Brandy ou encore Bourbon. Mais Google a changé son fusil d'épaule pour opter pour une formule continue qui se traduit par des mouvements quotidiens dans les SERPs (résultats des moteurs de recherche) en plus des grands changements qui surviennent lors des updates de l'algorithme.

Ainsi, on a pu constater des changements majeurs dans l'algorithme de Google en juin et juillet derniers. Si votre site a été affecté par ce changement d'algorithme, vous devriez réexaminer votre site et vous assurer de ceci :

- votre stratégie d'échange de liens avec des sites de qualité doit être continuelle. Pour vous rendre la tâche plus aisée, vous devriez pratiquer la syndication de contenu : syndication d'articles, échanges de flux RSS, syndication de communiqués de presse. N'oubliez pas de soumettre vos flux aux annuaires spécialisés (LaMooche, 1001rss, Search4rss, Feeds2read...).
- créez un Google Sitemap pour être sûr que toutes vos pages seront indexées.
- la navigation de votre site doit être fluide. Chaque page doit être accessible par au moins un lien statique. Veillez à ne pas laisser de pages orphelines.
- bannissez toute méthode de référencement et d'optimisation contraire aux conditions d'utilisation de Google : cloaking, textes et liens cachés, pages-tunnel, les fermes de liens...

Au-delà des changements observés laissant place à des résultats "naturels" dans les SERPs, nous avons également constaté des changements dans les Google Adwords. En juillet, Google a mis à jour la page de résultats de l'algorithme et cela a causé beaucoup de tort à de nombreux webmarketeurs. Certains annonceurs qui avaient l'habitude de payer 5 ou 10 centimes le clic se voient aujourd'hui contraints de placer leur enchère minimum à 50 centimes ou davantage. Il y a aussi les annonceurs qui ont gardé le prix de leur enchère mais qui se déclassent dorénavant en 3ème ou 4ème place quand ils avaient acheté la première avant les changements. D'autres annonceurs ont carrément disparu.

Quoi qu'il en soit, tous les annonceurs n'ont pas été affecté, heureusement. Seulement 4 types de sites l'ont été :

- les sites d'une seule page présentant un produit ou un service
- les sites MFA (sites uniquement constitués de publicités Google Adsense - je vous avais prévenu en juin dernier)
- les sites d'affiliation
- les pages-tunnels

La nouvelle page de résultats de l'algorithme donne des points à chaque page web liée. Heureusement pour nous, Google nous a laissé quelques indices sur la manière dont il positionne ces pages. Suivez les 3 trois points suivants si vous avez été affecté par ces changements :

- fournissez un contenu substantiel et de qualité
- liez vos annonces directement aux pages produits/service que vous proposez
- mettez en évidence les liens sponsorisés par rapport au reste de votre site (pour qu'il n'y ait pas de confusion aux yeux de l'algorithme)

Pour rester en adéquation avec cette nouvelle charte de qualité, vous devriez supprimer toutes les publicités Adsense de vos pages liées à vos annonces, que ces pages contiennent au moins 500 mots, qu'elles reflètent parfaitement le contenu de l'annonce, et créer ou trouver un contenu plus original pour votre site.

Google devient chaque jour plus subtil. Notre travail n'est pas de tricher avec les moteurs de recherche, mais bien de délivrer une information utile à nos visiteurs. En pratiquant des techniques d'optimisation aussi bien in-site (optimisation du contenu et du code de vos pages) qu'off-site (échange de liens mutuels et de qualité), vous devriez pouvoir obtenir de bons résultats de positionnement et vous préserver des changements dans l'algrithme d'indexation de Google.

 

Yahoo!

Yahoo!, depuis quelques mois déjà, expérimente pas mal de nouveautés. L'une d'elles est le nouveau Yahoo Search Crawler. Ce nouveau robot d'indexation est plus rapide et plus efficace concernant la visite des sites internet. Cela a pour conséquence une baisse de près de 25% du nombre de requêtes effectuées par le robot ainsi que de la bande passante utilisée.

Yahoo a également réalisé une mise à jour de son index à la mi-juillet, dont vous pouvez lire les commentaires ici : http://www.ysearchblog.com.

 

MSN

Nous avons pu également observer de récent changements chez MSN : ils ont modifié le nom de tous leurs robots d'indexation. Avant cela, ils s'appelaient tous "msnbot". Dorénavant, chaque robot est classé dans une catégorie propre à son type d'indexation :

- le nom du robot d'indexation de MSN Shopping s'appelle msnbot-products
- celui de MSN News est msnbot-news
- celui de MSN Image Search est msnbot-media
- celui de MSN Search reste msnbot

Les webmasters se casseront moins la tête quand ils regarderont leurs fichiers logs afin de connaître quel robot de MSN est venu visiter leur site. De plus, ils pourront mieux contrôler l'accès aux robots spécifiques lorsqu'ils en auront besoin, sans bloquer pour autant MSN Search.

 

Et les autres ?

En plus des 3 Grands, il existe une myriade d'autres moteurs de recherche qui prennent le même chemin technologique. L'un des meilleurs exemples est celui d'Eurekster.com qui a développé un "social search engine" (un moteur de recherche communautaire) basé sur l'expérimentation des utilisateurs.

Eurekster emploie sa propre technologie SearchMemory (mémoire de recherche) qui permet de se souvenir des sites qu'un utilisateur trouve utiles et intéressants et les présente comme premiers résultats à sa prochaine recherche. Eurekster permet également de partager ses recherches et sites avec ses amis. Par exemple, si vous faites une recherche avec "marketing internet", vous verrez également les sites en relation avec le "marketing internet" que vos amis trouvent aussi intéressants. Ces résultats sont flanqués d'une petite icone.

Cette personnalisation permet d'améliorer la pertinence des sites sans l'intervention d'un quelconque algorithme d'indexation. Le seul problème, c'est qu'il est monolingue (Anglais). Mais cela prouve une chose, c'est que la "guerre des moteurs de recherche" ne fait que commencer et que ce type de moteurs viendra tôt ou tard chez nous.

 

Conclusion

Les 3 Grands sont en pleine mutation qualitative et vont continuer de l'être. Nous n'avons plus qu'à espérer que Google, Yahoo et MSN prendront également le chemin technologique du social search engine pour tenter d'améliorer encore la pertinence et la qualité de leurs pages de résultats, ceci avec cette fonction de personnalisation. En tous cas, une chose est sûre, l'évolution du marché de la recherche va être une expérience intéressante à voir (à vivre).