Qu’est-ce qu’un fichier Robots.txt ?

Le fichier Robots.txt d'un site web

Le fichier optionnel robots.txt sert à donner des instructions aux bots sur la façon de parcourir un site. Il peut entre autres servir à empêcher l’indexation de certaines portions de votre site.

Les fichiers Robot.txt ne sont pas obligatoires ou nécessaires. Sans eux, les robots d'explorations navigueront simplement un site en fonction de leur guidage par défaut. Toutefois, la plupart des sites obtiennent de meilleurs résultats en utilisant un fichier robot.txt afin d’aider à guider les bots.

Le fichier robot.txt peut être utilisé pour encourager ou dissuader l'exploration de certaines pages. Par exemple, si votre site a une section privée, vous ne voudriez pas que son contenu apparaisse dans les résultats de recherche.

Les fichiers Robot.txt servent autant à s’assurer que certaines pages sont indexées et explorées, qu'à éviter que les pages mal optimisées soient classées.

Mis à jour le : 16/03/2023