Le robots.txt est un fichier texte placé à la racine d’un site web qui donne des instructions aux robots d’indexation (crawlers) des moteurs de recherche.
Il indique quelles pages ou sections doivent être explorées ou ignorées, permettant de contrôler l’accès au contenu et d’optimiser le crawl du site.
L’utilisation du robots.txt permet de :
protéger des pages sensibles ou en cours de développement,
optimiser le budget de crawl pour que Google se concentre sur les pages importantes,
éviter l’indexation de contenus dupliqués ou inutiles.