Qu'est-ce que la version standard du fichier robots.txt?
Un fichier robots.txt sert à définir à quels fichiers les "crawlers" des moteurs de recherche peuvent accéder. Le fichier robots.txt se trouve au niveau racine du site Web, dans le dossier contenant tous les fichiers de celui-ci. Par exemple, s'il s'agit de www.votredomaine.ch, le fichier sera accessible sur www.votredomaine.ch/robots.txt.
Le fichier robots.txt est un fichier en texte brut contenant le "Protocole d'exclusion des robots" (Plus d'infos ici: https://fr.wikipedia.org/wiki/Protocole_d%27exclusion_des_robots). Des règles y sont définies qui autorisent ou interdisent à un ou plusieurs crawlers précis l'accès au dossier racine du domaine ou du sous-domaine. Donc si rien n'est précisé dans le fichier robots.txt, les crawlers peuvent accéder à tous les fichiers.
Qu'est-ce qui est inclus dans la version standard du fichier robots.txt de Hostpoint?
Si vous n'avez pas défini votre propre fichier robots.txt, la version par défaut de Hostpoint sera utilisée à la place. Celle-ci définit un Crawl-Delay (un intervalle de temps minimum séparant deux visites, défini en secondes) de sorte que ceux-ci ne puissent se suivre immédiatement et doivent attendre un peu. Et la version standard de Hostpoint donne accès à tous les fichiers.
User-agent: *
Crawl-delay: 3(Veuillez noter que le Crawl Delay n'est pas un standard, ainsi certains bots n'en tiendront pas compte)
Comment puis-je remplacer la version standard du fichier robots.txt?
Si vous voulez créer votre propre version du fichier robots.txt, vous pouvez le mettre au niveau racine de votre site Web et y ajouter quelques règles. Vous trouverez plus d'informations sur https://moz.com/learn/seo/robotstxt
Pour envoyer une demande d'assistance au support, merci d'utiliser ce formulaire-ci.