Alors que la Toile compte plus d'un milliard d'internautes, 100 millions de sites web et pas loin de 60 millions de blogs, les trois leaders de la recherche en ligne ont décidé de s'allier autour d'un protocole commun. Une première dans l'histoire des moteurs d'indexation. Mis au point en Juin 2005 par Google, le protocole XML SiteMaps permet à n'importe quel webmestre de préciser à un moteur de recherche comment indexer son site. Pour chaque URL (une URL pouvant être une page ou un répertoire), l'auteur du site peut indiquer la date de dernière modification de la page, la fréquence à laquelle cette page est normalement mise à jour, ainsi que la priorité d'indexation de la page par rapport aux autres pages du même site.
L'ensemble des indications sont stockées dans un simple fichier XML situé à la racine du site web qui joue le rôle d'aiguilleur pour les robots des moteurs d'indexation. L'objectif du protocole SiteMaps est donc clairement d'aider les "crawlers" du Net à se concentrer sur les parties les plus intéressantes des sites pour améliorer l'indexation du web, tant en termes de contenu sélectionné que de fréquence de mise à jour. Google ayant récemment ouvert le protocole SiteMaps grâce à une licence Creative Commons, Microsoft et Yahoo ont décidé de supporter cette initiative de standardisation. Ce protocole est "un moyen facile et gratuit pour alerter les moteurs de recherche dans le but d'améliorer la présence d'un site dans les résultats de recherche", expliquent en substance les trois sociétés dans un communiqué commun.
Lire aussi :
Google chouchoute les webmasters
Les moteurs de recherche n'indexeront pas les sites Ajax
Google se lance dans la recherche collaborative