Was ist die Standard robots.txt Datei?
Eine robots.txt-Datei ist eine Datei, mit der gesteuert werden kann, auf welche Dateien Ihrer Website sogenannte Crawler zugreifen sollen. Die robots.txt-Datei liegt jeweils im Document-Root der Website, also in dem Verzeichnis, wo sich alle Dateien einer Webseite befinden. Bei dem Beispiel der Website www.ihredomain.ch befindet sich die robots.txt-Datei also in folgendem Pfad: www.ihredomain.ch/robots.txt.
Die robots.txt-Datei ist eine reine Text-Datei ohne Formatierung, die dem «Robots Exclusion Standard» entspricht (siehe dazu https://de.wikipedia.org/wiki/Robots_Exclusion_Standard). In dieser Datei werden Regeln definiert, welche einem bestimmten Crawler den Zugriff auf das Document-Root der Domain oder Subdomain erlaubt oder blockiert. Wenn in der robots.txt-Datei also nichts spezifiziert wurde, können alle Dateien gecrawlt werden.
Was wird mit dieser Datei ausgeliefert?
Wenn Sie keine eigene Version der robots.txt Datei für Ihre Website definiert haben, so wird die Standard-Version von Hostpoint ausgeliefert (Default-Version). Diese definiert einen Crawl-Delay (Abstand zwischen den Aufrufen in Sekunden), damit die Bots ihre Abfragen nicht direkt hintereinander schicken können sondern zwischen den Abfragen jeweils warten müssen. Zudem erlaubt das Hostpoint-Default auf alle Files zuzugreifen.
User-agent: *
Crawl-delay: 3
(Bitte beachten Sie, dass der Crawl-Delay kein Standard ist und es vorkommen kann, dass dieser nicht von allen Bots beachtet wird.)
Wie kann ich die Standard-Version der robots.txt-Datei überschreiben?
Wenn Sie eine eigene robots.txt-Datei erstellen möchten, können Sie diese im Verzeichnis Ihrer Website anlegen und darin nach Belieben eigene Regeln festlegen.
Weitere hilfreiche Informationen zur robots.txt-Datei finden Sie unter folgendem Link: https://moz.com/learn/seo/robotstxt
Für Supportanfragen verwenden Sie bitte dieses Formular.