Pourquoi y-a-t-il un fichier robots.txt sur mon site

Vous pouvez constater que votre site est doté d'un fichier "robots.txt" (accessible via adresse_de_votre_site/robots.txt).

Ce fichier permet d'interdire l'accès à votre site à un certain nombre de "robots" (appelé aussi "crawler" : sortes de programmes qui explorent le web). Ces robots peuvent être utilisés à des fins malveillantes, mais aussi fortement ralentir votre site lorsqu'ils sont mal utilisés.

Afin de vous prémunir contre tout désagrément, le fichier robots.txt bloque donc un certain nombre de ces robots.

La configuration étable dans votre robots.txt est prévue pour ne pas avoir d'impacte sur les robots des moteurs de recherche importants. Cela n'a donc aucun incluence négative sur votre référencement.