Was ist die robots.txt-Datei?
Die Datei namens robots.txt ist eine Datei, mit der gesteuert werden kann, auf welche Dateien Ihrer Website sogenannte Crawler zugreifen sollen.
Die robots.txt-Datei liegt jeweils im Document-Root der Website, also in dem Verzeichnis, wo sich alle Dateien einer Website befinden. Bei der Website www.ihre-eigene-domain.ch würde der Pfad zur robots.txt-Datei also wie folgt lauten:
www.ihre-eigene-domain.ch/robots.txt.
Die robots.txt-Datei ist eine reine Textdatei ohne Formatierung, die dem «Robots Exclusion Standard» entspricht (siehe dazu https://de.wikipedia.org/wiki/Robots_Exclusion_Standard). In dieser Datei werden Regeln definiert, die einem bestimmten Crawler den Zugriff auf das Document-Root der Domain oder Subdomain erlaubt oder blockiert. Wenn in der robots.txt-Datei also nichts angegeben wird, können alle Dateien der Website gecrawlt werden.
Was wird mit der Standardversion der Datei ausgeliefert?
Wenn Sie keine eigene Version der robots.txt-Datei für Ihre Website definiert haben, so wird die Standardversion von Hostpoint ausgeliefert (Default-Version). Diese definiert einen Crawl-Delay (Abstand zwischen den Aufrufen in Sekunden), damit die Bots ihre Abfragen nicht direkt hintereinander schicken können, sondern zwischen den Abfragen jeweils warten müssen. Zudem erlaubt der Hostpoint-Standard den Zugriff auf alle Dateien einer Website.
Die Standardversion der Datei beinhaltet also folgende Parameter:
User-agent: *
Crawl-delay: 3
Bitte beachten Sie, dass es vorkommen kann, dass der Crawl-Delay nicht von allen Bots beachtet wird.
Wie kann ich die Standardversion der Datei überschreiben?
Wenn Sie eine eigene robots.txt-Datei erstellen möchten, können Sie diese im Verzeichnis Ihrer Website anlegen und darin nach Belieben eigene Regeln festlegen.
Weitere hilfreiche Informationen zur robots.txt-Datei finden Sie unter folgendem Link: https://moz.com/learn/seo/robotstxt
Für Supportanfragen verwenden Sie bitte dieses Formular.
