Qu’est-ce que c’est le fichier robots.txt ?

Un fichier robots.txt est un fichier texte situé à la racine de votre site.

Il indique aux robots (web crawlers) d’exploration des moteurs de recherche de ne pas explorer ou pas certaines parties de votre site.

On appelle cela :  le protocole d’exclusion des robots.

Il permet donc d’éviter l’indexation par les moteurs de recherche de certaines pages que vous souhaitez privées.

Ce fichier permet également d’indiquer aux moteurs l’adresse du fichier sitemap.xml du site.

Comment ça fonctionne ?

Les robots passent régulièrement sur votre site, ils explorent les URL de ce dernier (oui comme dans Matrix ! ils voient tout !).

Mais, s’il y a un fichier robots.txt, il va d’abord le lire en premier et exclure les contenus que vous lui aurez indiqué.

 

Comment créer un fichier robots.txt ?

User-agent: *
# Allow Directives
Allow: */modules/*.css
Allow: */modules/*.js
# Private pages
Disallow: /*?orderby=
Disallow: /*en/confirmation-commande
# Sitemap
Sitemap: http://www.wadressedevotresite.com/1_index_sitemap.xml

Vous pouvez voir les pages visibles :
préfixe Allow

Celles invisibles :
préfixe Disallow

Et l’adresse du sitemap. Ce qui permet de vérifier s’il y en a bien un, c’est important !

Comment voir si j’ai bien ce fichier ?

Ajoutez robots.txt à l’adresse de vote site : 
https://www.adressedemonsite.com/robots.txt

S’il n’y a rien, regardez via FileZilla à la racine de votre site, l’adresse peut être un peu différente parfois.

Le nom robots.txt est sensible à la casse, alors faites-le bien ou cela ne fonctionnera pas.

Tester votre fichier : https://www.google.com/webmasters/tools/robots-testing-tool?siteUrl=https://nomdevotresite.com/

 

Et le fichier Humans.txt s’est quoi ?

C’est une sorte de fichier de remerciement ! on y met les contributeurs du site (un peu comme sur les metnions légales).

https://www.adressedevotresite.com/humans.txt

/* TEAM */
Founder:monsieur Untel
Contact: adresse[at] mail
Twitter: @compte
From:maville

/* THANKS */

Host: OVH
Twitter: @OVH
Contact: support [at] ovh
From: Montpellier, Hérault, France

Webdisgner: Son NOM
Twitter: @compte
Contact: adresse[at] mail
From: Montpellier, Hérault, France

/* SITE */
Last update: 2020/01/22
Language: French
Software: WordPress

 

Ressources

Lien vers le site webmaster de Google pour en savoir plus

Pour Prestashop

Le fichier robots.txt de votre site WordPress est-il optimisé ?

https://wpmarmite.com/robots-txt-wordpress/

The ultimate guide to robots.txt