Le fichier robots.txt, placé à racine d’un site, permet d’indiquer aux robots comme ceux de Google de définir la façon dont un site est indexé sur les moteurs de recherche. Il est utile pour éviter que ces moteurs indexent par exemple des parties privées d’un site. Ce fichier est bien connu des webmasters et autres spécialistes du SEO.
Le site du Daily Mail a utilisé ce fichier pour … publier une offre d’emploi !
Le quotidien Anglais cherchait en effet un nouveau responsable SEO, assez curieux pour trouver ce genre de chose.
Le fichier affiche le message suivant:
L’annonce est toujours en ligne: http://www.dailymail.co.uk/robots.txt
