BLOG

Tout savoir sur le Digital

 

Fichier robots.txt difficilement explorable

Au secours, mon fichier robots.txt n’est pas exploré par le robot de Google. Un internaute pose une question à ce sujet :

Je vois des erreurs dans Google Webmaster Tools. De ce fait, à propos du robot Googlebot qui 50% du temps est incapable de lire  mon fichier robos.txt.

Matt Cutts répond que certaines personnes cherchent à cloaker leur site. Ainsi, pour qu’il soit vu différemment des internautes ou du robot de Google. Sauf qu’ils se trompent dans la configuration et qu’ils font l’inverse de ce qui est désiré. De ce fait, le résultat fait dans certains cas, que Google ne voit pas de contenu et le robot renvoit une erreur à l’exploration du fichier robots.txt.

Comment vérifier le fichier robots.txt

Matt Cutts nous livre l’astuce que vous avez surement déjà trouvé. Dans votre compte Google Wemstare Tools (GWT), il suffit d’utiliser le bouton Explorer comme Google situé dans l’onglet Etat de santé directement sur votre fichier robots.txt en question.

fichier robots.txt

La réponse du serveur peut vous donner un nombre intéressant d’informations qui peuvent vous aider à identifier la source de votre problème.

Vidéo 1’3326 novembre

Nicolas Baccon
Nicolas Baccon
Fondateur de l'agence et passionné de la programmation web, du design, du marketing et des nouvelles technologies, je suis aussi rédacteur à mes heures perdues sur de nombreux sujets.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

X