Le robots txt. et le référencement naturel

Le%20guide%20des%20balises%20h1%20a%CC%80%20h6%20%283%29

Le robots txt. et le référencement naturel

1. C’est quoi au juste ?

Le robots.txt permet à un webmaster de définir les zones le robot d’indexation est autorisé à analyser. Beaucoup de blogueurs Wordpress oublient de créer ce fichier, pourtant il est nécessaire pour tous les sites et blogs.

Pour faire simple, lorsqu’un moteur de recherche va parcourir votre blog, celui-ci va vérifier tous les liens automatiquement et va indexer le contenu des pages pour qu’il puisse savoir le thème du blog. Vous l’avez compris, c’est ce robot qui va vous permettre d’apparaître dans les résultats de recherche lorsqu’un internaute effectue une recherche en lien avec vos pages.

2 . Comment fonctionne-t-il ?

Le robotx.txt est utilisé en tant qu’interdiction de passage, c’est-à-dire que c’est vous qui allez indiquer au robot du moteur de recherche les pages qu’il ne doit indexer.

3 . Pourquoi prendre en compte le robots.txt dans sa stratégie SEO ?

Il existe certaines pages, parfois, que vous ne voulez pas que le robots.txt indexe. Plusieurs raisons peuvent-être évoquées :

  • Vous possédez des pages en cours de maintenance
  • Certaines pages n’ont aucune valeur ajoutée
  • Certaines de vos pages sont tenues confidentielles (livre blanc ou fichier pdf.)

4 . Comment configurer le fichier robots.txt ? Copier le texte ci-dessous et collez le dans un fichier que vous allez nommer « fichier robots txt ».

À noter que ce code permet à tous les robots de parcourir votre site sans aucune restriction

Si vous voulez placer une restriction dans l’une des pages vous pouvez utilizer le code suivant :

N’oubliez pas de remplacer le nom « votreblog.cpm » par l’adresse de votre blog.

Voici une liste exhaustive de générateurs de fichier robots.txt :

• Robots.txt Syntax Checker

• Iniseo