Vuoi ricevere tutte le novità SEO direttamente via mail?

Come posso evitare che GoogleBot scansioni il mio sito web?

Qualunque sia la ragione per la quale desideri impedire a Google di scansionare totalmente o parzialmente il tuo dominio, puoi utilizzare il cosiddetto robots.txt per indicare la crawler quali contenuti scansionare e quali escludere.

Il robots.txt è un semplice file di testo chiamato “robots” che deve essere inserito nella directory principale (root) del sito per fare in modo di essere letto dai motori di ricerca.

Bloccare GoogleBot tramite robots.txt

Il robots.txt deve essere utilizzato come segue:

http://www.miodominio.it/robots.txt

Il contenuto del robots.txt

Vietare al crawler l’intero sito

Usa la formula seguente all’interno del robots.txt per vietare a GoogleBot la scansione dell’intero sito.

User-Agent: Googlebot
Disallow: /

Vietare al crawler delle directory o parti del sito

Se vuoi solo limitare l’accesso di GoogleBot a qualche directory o file, imposta il robots.txt nel modo seguente:

User-Agent: Googlebot
Disallow: /una-directory/
Disallow: /un-file.pdf

Gli esempi di codice mostrati qui sono pensati solo per GoogleBot. Grazie ai Texter dei file robots.txt potrai valutare quali dei tuoi URL sono stati vietati al crawler di Google. I crawler di altri motori di ricerca non saranno però bloccati.

Vietare tutti gli altri crawler tramite robots.txt

Chi desidera far valere il proprio robots.txt per tutti i crawler, dovrà inserire una stellina (asterisco) nel modo seguente:

User-Agent: *

robots.txt vs. Noindex

L’utilizzo di robots.txt per bloccare un crawler non evita la comparsa dei contenuti all’interno delle pagine dei risultati. Infatti, al contrario del Meta Element Noindex, una pagina inserita nel robots.txt apparirà comunque nelle pagine dei risultati di Google. Per maggiori informazioni: Perché un URL bloccato tramite robots.txt compare comunque nei risultati di ricerca?

Anche la Guida di Search Console offre ulteriori approfondimenti sull’uso corretto del file robots.txt.

Articoli correlati