Robot txt ,quali sono i parametri corretti

Recentemente nel pannello di Blogger e' stata inserita la funzione Robot txt personalizzata che si trova alla voce impostazioni - preferenze di ricerca ,la funzione permette di creare un proprio Robot.txt in base alle proprie esigenze ; ma quale' e' il parametro giusto da inserire ? di norma Blogger ha un suo standard Robot.txt che e' Googlebot che puoi visualizzare nel tuo pannello di controllo di Google Webmaster tool .Questo standard autorizza la lettura del contenuto del vostro blog del User-agent di Google ,la sintassi che trovi e' questa : User-agent: Googlebot Disallow:

Per fare in modo che tutti gli User-agent oltre a quello di Google abbiano accesso alla lettura del nostro blog e indicizzino le pagine (guarda immagine sopra) ,la sintassi corretta e' questa :

User-agent: *
Disallow: 

Questa sintassi autorizza la lettura del vostro blog a tutti gli User-agent .Se si vuole impedire la lettura a un determinato agente ,la sintassi e' questa :

User-agent: MSNBot
Disallow: /

In questo caso Bing che utilizza questo agente non avra' accesso .Per evitare che Google indicizzi le vostre immagini , la sintassi e' questa :

User-agent: googlebot-image
Disallow: /

Nel pannello di Blogger vi e' un avviso molto chiaro che cita : Attenzione. Usare con cautela. Un uso non corretto di queste funzioni può far sì che il tuo blog sia ignorato dai motori di ricerca.Quindi attenti ai parametri che inserite .Per testare il funzionamento del vostro Robot basta utilizzare questo tool online Robot.txt Checker inserendo l'indirizzo del vostro blog seguito da robots.txt come si vede sotto :
http://vincicoppolas.blogspot.com/robots.txt


Al interno del modulo puoi inserire anche la tua site map (vedi immagine sopra).Un altro tool online per generare il tuo robot lo trovi qui :  mcanerin leggi anche Tag robot personalizzatiThe original post is on Blogger Tips and Tricks | Blogspot utility
© copyright, 2011. Share it freely, but must be link back to this source.
Vincicoppolas blogspot utilty
Best Regards!