Robots.txtx (le protocole d'exclusion des robots) est un fichier texte placé à la base d'un domaine de site Web pour donner des instructions aux robots Web conformes (tels que les robots de recherche de moteur de recherche) sur les pages à ramper et à ne pas ramper, ainsi que d'autres informations. comme un emplacement du site. Dans les cadres modernes, il peut être utile de générer de manière programmable le fichier. Des questions générales sur l'optimisation des moteurs de recherche sont plus appropriées sur le site Webmasters Stackexchange.
