Fichier robots.txt difficilement explorable

27 novembre 2012

Au secours, mon fichier robots.txt n’est pas exploré par le robot de Google. Un internaute pose une question à ce sujet :

Je vois des erreurs dans Google Webmaster Tools. De ce fait, à propos du robot Googlebot qui 50% du temps est incapable de lire  mon fichier robos.txt.

Matt Cutts répond que certaines personnes cherchent à cloaker leur site. Ainsi, pour qu’il soit vu différemment des internautes ou du robot de Google. Sauf qu’ils se trompent dans la configuration et qu’ils font l’inverse de ce qui est désiré. De ce fait, le résultat fait dans certains cas, que Google ne voit pas de contenu et le robot renvoit une erreur à l’exploration du fichier robots.txt.

Comment vérifier le fichier robots.txt

Matt Cutts nous livre l’astuce que vous avez surement déjà trouvé. Dans votre compte Google Wemstare Tools (GWT), il suffit d’utiliser le bouton Explorer comme Google situé dans l’onglet Etat de santé directement sur votre fichier robots.txt en question.

fichier robots.txt

La réponse du serveur peut vous donner un nombre intéressant d’informations qui peuvent vous aider à identifier la source de votre problème.

Vidéo 1’3326 novembre

Rubrique de l'article: Vidéos
Cbcf4390b9134261a05381ab86116e8a[1]

Nicolas Baccon

Fondateur de l’agence et passionné de la programmation web, du design, du marketing et des nouvelles technologies, je suis aussi rédacteur à mes heures perdues sur de nombreux sujets.

0 Commentaires

Nous joindre

Vous pouvez nous joindre par téléphone

Du lundi au vendredi, de 9h à17h30

04 84 49 28 73

PARLEZ-NOUS DE VOTRE
PROJET
AUTOUR D’UN CAFÉ


Adresse :

6384 rue Obsidienne
13510 Éguilles


Présentation en vidéo



Cookies
Le site utilise des cookies pour suivre et améliorer votre expérience de navigation. En continuant à naviguer, vous nous autorisez à déposer des cookies.
Lire notre politique de confidentialité
Configurer Cookies
Accepter
Refuser
Cookies
Le site utilise des cookies pour suivre et améliorer votre expérience de navigation. En continuant à naviguer, vous nous autorisez à déposer un cookie à des fins de mesure d'audience.
Politique de confidentialité
Configurer
Accepter
Refuser