Fichier robots.txt difficilement explorable

Au secours, mon fichier robots.txt n’est pas exploré par le robot de Google. Un internaute pose une question à ce sujet :

Je vois des erreurs dans Google Webmaster Tools. De ce fait, à propos du robot Googlebot qui 50% du temps est incapable de lire  mon fichier robos.txt.

Matt Cutts répond que certaines personnes cherchent à cloaker leur site. Ainsi, pour qu’il soit vu différemment des internautes ou du robot de Google. Sauf qu’ils se trompent dans la configuration et qu’ils font l’inverse de ce qui est désiré. De ce fait, le résultat fait dans certains cas, que Google ne voit pas de contenu et le robot renvoit une erreur à l’exploration du fichier robots.txt.

Comment vérifier le fichier robots.txt

Matt Cutts nous livre l’astuce que vous avez surement déjà trouvé. Dans votre compte Google Wemstare Tools (GWT), il suffit d’utiliser le bouton Explorer comme Google situé dans l’onglet Etat de santé directement sur votre fichier robots.txt en question.

La réponse du serveur peut vous donner un nombre intéressant d’informations qui peuvent vous aider à identifier la source de votre problème.