Y a-t-il un moyen de forcer une araignée à ralentir son araignée d'un site Web? Tout ce qui peut être mis dans des en-têtes ou des robots.txt?
Je pensais que je me suis souvenu de lire quelque chose à propos de cela étant possible mais ne peut rien trouver maintenant.
4 Réponses :
Si vous vous référez à Google, vous pouvez accélérer la vitesse à laquelle Google arpente votre site en utilisant votre compte Google Webmaster ( Google Webmaster Tools ).
Il y a aussi ceci, que vous pouvez mettre dans robots.txt où le délai d'analyse est spécifié comme le Nombre de secondes entre chaque page en griffonnage. Bien sûr, comme tout le reste de robots.txt, le chenille doit le respecter, alors ymmv.
Je ne pense pas que les robots feront quoi que ce soit, sauf autoriser ou interdire. La plupart des moteurs de recherche vous permettront de personnaliser comment ils indexent votre site.
Si vous avez un agent spécifique qui cause des problèmes, vous pouvez le bloquer spécifiquement ou voir si vous pouvez la configurer.
Voir Accélération de votre serveur Web pour une solution utilisant Perl. Randal Schwartz a déclaré avoir survécu à une attaque SlashDot en utilisant cette solution.