Robots.txt
Le fichier Robots.txt est placé à la racine d’un site web et son rôle principal est d’indiquer aux robots d’indexation (voir Spider) les pages à indexer et celles qui ne doivent pas être indexées.
C’est un outil majeur pour les webmasters, car il offre un contrôle précis sur la manière dont les moteurs de recherche indexent votre site.
Outre son utilisation pour bloquer l’indexation de certaines pages, le fichier Robots.txt peut également être employé pour accorder un accès privilégié à certains bots d’exploration, ce qui permet de gérer efficacement la visibilité et la confidentialité du contenu sur le site.
Publié le 07/02/2018