Che cos'è la versione standard del file robots.txt?
Dentro un file robots.txt si definisce a quali file i "crawler" dei motori di ricerca possono accedere. Il file robots.txt si trova al livello radice del sito Web, nella cartella che contiene tutti i file del sito. Ad esempio, se si tratta di www.ilsuodominio.ch, il file si troverà sotto www.ilsuodominio.ch/robots.txt.
Il file robots.txt è un file di semplice testo che contiene il "Protocollo di esclusione robot" (Per più informazioni: https://it.wikipedia.org/wiki/Protocollo_di_esclusione_robot). Ci si definisce le regole che permettono o invece proibiscono a crawler specifici l'accesso alla cartella radice del dominio o del subdominio. Quindi se non ci si definisce nulla nel file robots.txt, i crawler avranno accesso a tutti i file.
Cosa c'è nella version standard del file robots.txt di Hostpoint?
Se non ha definito il suo proprio file robots.txt, il sito utilizzerà la versione default di Hostpoint. Quella definisce un Crawl-Delay (un intervallo di tempo tra due visite, impostato in secondi) in tale modo che i crawler non possano venire l'uno subito dopo l'altro e invece devono aspettare un pò. E la versione standard di Hostpoint da accesso a tutti i file.
User-agent: *
Crawl-delay: 3(Attenti però, quel Crawl Delay non è una cosa standardizzata, e quindi alcuni crawler possono non lo prendono in considerazione.)
Come posso sostituire la versione standard del file robots.txt?
Se vuole creare il suo proprio file robots.txt, può metterlo al livello radice del suo sito e aggiungerci qualche riga. Troverà più informazioni su https://moz.com/learn/seo/robotstxt
Per richieste di supporto la preghiamo di usare invece questo modulo.