Che cos'è il file robots.txt?
Dentro un file robots.txt si definisce a quali file i “crawler” dei motori di ricerca possono accedere.
Il file robots.txt si trova al document root del sito web, nella cartella che contiene tutti i file del sito. Ad esempio, se si tratta di www.il-suo-dominio.ch, il file si troverà sotto www.il-suo-dominio.ch/robots.txt.
Il file robots.txt è un file di semplice testo che contiene il “Protocollo di esclusione robot” (per più informazioni: https://it.wikipedia.org/wiki/Protocollo_di_esclusione_robot). Ci si definisce le regole che permettono o invece proibiscono a crawler specifici l'accesso al document root del dominio o del sottodominio. Quindi se non ci si definisce nulla nel file robots.txt, i crawler avranno accesso a tutti i file del sito web.
Cosa c'è nella version standard del file?
Se non ha definito il suo proprio file robots.txt per il Suo sito web, viene utilizzata la versione default di Hostpoint. Quella definisce un crawl delay (un intervallo di tempo tra due visite, impostato in secondi) in tale modo che i crawler non possano venire l'uno subito dopo l'altro e invece devono aspettare un pò. Inoltre, la versione standard di Hostpoint consente l'accesso a tutti i file del sito web.
La versione standard del file contiene quindi i seguenti parametri:
User-agent: *
Crawl-delay: 3Tenga presente che alcuni crawler possono non prendere in considerazione il crawl delay.
Come posso sostituire la versione standard del file?
Se vuole creare il Suo proprio file robots.txt, può metterlo al document root del suo sito web e aggiungerci qualche riga. Troverà più informazioni su https://moz.com/learn/seo/robotstxt.
Per richieste di supporto la preghiamo di usare invece questo modulo.
