Creare file robots.txt per WordPress

Abbiamo gia’ affrontato nell’articolo precedente l’importanza del file Robots.txt. In questo articolo costruiamo insieme il file e vediamo come con poche linee di codice, sia possibile ottimizzare e sviluppare un file Robots.txt per WordPress.

Al lavoro!

Apriamo un file vuoto con il nostro editor di testo e iniziamo a scrivere:

User-agent: *

Adesso andiamo a bloccare l’indicizzazione delle directory e dei file propri di WordPress:

Disallow: /wp-
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/

Ora, cosa fondamentale, dobbiamo permettere l’indicizzazione dei post e di tutto quello annesso e connesso (immagini, pdf,allegati in genere):

Allow: /wp-content/uploads/

Fatto questo siamo a buon punto, ma bisogna eliminare dall’indicizzazione dei motori di ricerca i famosi Contenuti Duplicati e le loro directory; quindi inseriamo queste linne di codice:

Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/

Questo e’ il file Robots.txt di base, ma visto che noi non ci accontentiamo mai, aggiungiamo altre funzioni.

Naturalmente avremo installato nel nostro WordPress il plugin All in one SEO e quindi non bisogna dimenticare di scrivere nel file Robots.txt:

Disallow: /tag/
Disallow: /category/

Ultima istruzione da inserire nel nostro Robots, e’ l’idicizzazione della Sitemap:

Sitemap: http://www.nomedominio.com/sitemap.xml

Quindi ecco il Robots.txt per WordPress pronto a l’uso per tutti:

User-agent: *

Disallow: /wp-
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/

Allow: /wp-content/uploads/

Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/

Disallow: /tag/
Disallow: /category/

Sitemap: http://www.nomedominio.com/sitemap.xml