Un robot d'exploration Web (également connu sous le nom d'araignée Web) est un programme informatique qui parcourt le World Wide Web de manière méthodique, automatisée ou de manière ordonnée. Les autres termes pour les robots d'exploration du Web sont les fourmis, les indexeurs automatiques, les robots, les robots Web, les robots Web ou - en particulier dans la communauté FOAF - les scutters Web.
Y a-t-il un moyen de forcer une araignée à ralentir son araignée d'un site Web? Tout ce qui peut être mis dans des en-têtes ou des robots.txt?
Je pensai ...
J'écris une araignée à Python pour crawler un site. Le problème est que je dois examiner environ 2,5 millions de pages, afin que je puisse vraiment utiliser une aide d' ...
