Questions et réponses pour le web-crawler :

Un robot d'exploration Web (également connu sous le nom d'araignée Web) est un programme informatique qui parcourt le World Wide Web de manière méthodique, automatisée ou de manière ordonnée. Les autres termes pour les robots d'exploration du Web sont les fourmis, les indexeurs automatiques, les robots, les robots Web, les robots Web ou - en particulier dans la communauté FOAF - les scutters Web.

7
votes
J'ai un client dont le domaine semble être frappé assez fort par ce qui semble être un DDO. Dans les journaux, c'est des agents d'utilisateurs à la recherche normaux avec ...

7
votes
Je jette quelques idées pour les moteurs de recherche de voyage et je me demande comment ces sites reçoivent leurs données source. Est-ce qu'ils grattent tout le contenu des p ...

7
votes
J'ai créé une petite araignée Web à Python que j'utilise pour collecter des URL. Je ne suis pas intéressé par le contenu. En ce moment, je garde toutes le ...

6
votes
Maintenant avec Web 2.0, la tendance est AJAX, il existe de nombreux cadres existants sur le marché promouvant Ajax, mais c'est Ajax vraiment réfléchi? ...