Au secours, mon fichier robots.txt n’est pas exploré par le robot de Google. Un internaute pose une question à ce sujet :
Je vois des erreurs dans Google Webmaster Tools. De ce fait, à propos du robot Googlebot qui 50% du temps est incapable de lire mon fichier robos.txt.
Matt Cutts répond que certaines personnes cherchent à cloaker leur site. Ainsi, pour qu’il soit vu différemment des internautes ou du robot de Google. Sauf qu’ils se trompent dans la configuration et qu’ils font l’inverse de ce qui est désiré. De ce fait, le résultat fait dans certains cas, que Google ne voit pas de contenu et le robot renvoit une erreur à l’exploration du fichier robots.txt.
Matt Cutts nous livre l’astuce que vous avez surement déjà trouvé. Dans votre compte Google Wemstare Tools (GWT), il suffit d’utiliser le bouton Explorer comme Google situé dans l’onglet Etat de santé directement sur votre fichier robots.txt en question.
La réponse du serveur peut vous donner un nombre intéressant d’informations qui peuvent vous aider à identifier la source de votre problème.
Le site utilise des cookies pour suivre et améliorer votre expérience de navigation, mesurer notre audience. En continuant à naviguer, vous nous autorisez à déposer des cookies selon vos préférences. En savoir plus
Ces cookies servent au fonctionnement du site.
Nous sommes chargés de compter le nombre de visites sur ce site. Notre travail aide énormément les personnes qui travaillent ici, car nous leur permettons de détecter de nombreux points d’amélioration.
Google Analytics
Mesure les statistiques de visites et le positionnement géographique des visiteurs, les produits les plus consultés.
En savoir plus
Les cookies servent au bon fonctionnement du serveur et au monitoring en temps réel.
WPServeur
Nous utilisons des cookies pour faciliter la relation des visiteurs avec notre contenu et pour nous permettre de compiler des statistiques sur les visiteurs que nous recevons.
En savoir plus
Cookies utilisés :
- pk
- zlcmid
Pour que vous puissiez reprendre où vous en êtes dans la complétion d'un formulaire, les cookies pré-enregistre vos informations avant de les soumettre en cliquant sur le bouton valider.
Cookies utilisés :
- quform