• Vos objectifs
    • Vos objectifs
        • --
        • Augmenter ma visibilité Accroître ma visibilité sur le web
        • Augmenter ma notoriété Accroître ma renommée sur internet
        • Augmenter mes ventes Dégager plus de Chiffre d'affaires via les leviers du digital
        • Gagner en rentabilité Dégager un meilleur retour sur investissement
        • Se faire accompagner Bénéficier de l'expertise d'une agence reconnue dans le digital
  • Expertises
  • Références
  • Technologies
  • L'agence
    • Notre histoire
    • L’équipe
    • Offres d’emploi
  • Ressources
Prendre RDV

Robots.txt

Le fichier Robots.txt est placé à la racine d’un site web et son rôle principal est d’indiquer aux robots d’indexation (voir Spider) les pages à indexer et celles qui ne doivent pas être indexées.

C’est un outil majeur pour les webmasters, car il offre un contrôle précis sur la manière dont les moteurs de recherche indexent votre site.
Outre son utilisation pour bloquer l’indexation de certaines pages, le fichier Robots.txt peut également être employé pour accorder un accès privilégié à certains bots d’exploration, ce qui permet de gérer efficacement la visibilité et la confidentialité du contenu sur le site.

Publié le 07/02/2018

Retourner aux définitions

Les définitions connexes

Spider Ranking Rapport de positionnement Recherche en temps réel Recherche informationnelle Recherche locale Recherche navigationnelle Recherche transactionnelle Recherche prédictive