Qu'est-ce que le fichier robots.txt?
Le fichier robots.txt sert à définir à quels fichiers les «crawlers» des moteurs de recherche peuvent accéder.
Le fichier robots.txt se trouve au niveau du document root du site Web, dans le dossier contenant tous les fichiers de celui-ci. Par exemple, pour le site Web www.votre-propre-domaine.ch, le fichier sera accessible sur www.votre-propre-domaine.ch/robots.txt.
Le fichier robots.txt est un fichier en texte brut contenant le «Protocole d'exclusion des robots» (plus d'infos ici: https://fr.wikipedia.org/wiki/Protocole_d%27exclusion_des_robots). Des règles y sont définies qui autorisent ou interdisent à un ou plusieurs crawlers précis l'accès au document root du domaine ou du sous-domaine. Donc si rien n'est précisé dans le fichier robots.txt, les crawlers peuvent accéder à tous les fichiers du site Web.
Qu'est-ce qui est inclus dans la version standard du fichier?
Si vous n'avez pas défini votre propre fichier robots.txt, la version par défaut de Hostpoint sera utilisée à la place. Celle-ci définit un Crawl Delay (un intervalle de temps minimum séparant deux visites, défini en secondes) de sorte que ceux-ci ne puissent se suivre immédiatement et doivent attendre un peu. En outre, la version standard de Hostpoint donne accès à tous les fichiers d'un site Web.
La version standard du fichier contient donc les paramètres suivants:
User-agent: *
Crawl-delay: 3Veuillez noter qu'il peut arriver que le Crawl Delay ne soit pas respecté par tous les robots.
Comment puis-je remplacer la version standard du fichier?
Si vous voulez créer votre propre version du fichier robots.txt, vous pouvez le mettre au niveau document root de votre site Web et y ajouter quelques règles. Vous trouverez plus d'informations sur https://moz.com/learn/seo/robotstxt.
Pour envoyer une demande d'assistance au support, merci d'utiliser ce formulaire-ci.
