Je travaille sur un projet de remise des diplômes pour l'un de mes cours universitaires et j'ai besoin de trouver un endroit pour exécuter plusieurs robots que j'ai écrites dans C #. Avec aucune expérience d'hébergement Web, je suis un peu perdu. Est-ce quelque chose que n'importe quel site permet? Ai-je besoin d'un hôte spécial qui donne plus d'accès au serveur? Le Crawler est une application simple qui fait son travail, puis écrit périodiquement des informations sur une base de données distante.
6 Réponses :
Un robot Web est une simulation d'un utilisateur normal. Les sites ACESS comme des navigateurs font, obtiennent le code HTML (JavaScript, etc.) renvoyés du serveur (donc aucun accès interne au code du serveur). Être cela, n'importe quel site peut être rampé.
Soyez conscient de certaines Lignes directrices sur l'éthique du robot Web . Il y a des pages que vous ne devriez pas indexer ou suivre ses liens. Et les développeurs Web construisent des fichiers et des instructions sur les valwoliers Web, disant ce que vous pouvez indexer ou suivre.
Vous aurez besoin d'un VPS (serveur privé virtuel) ou d'un serveur dédié. Les crawlers ne sont rien de plus que des applications qui "rampent" Internet. Pendant que vous pouviez configurer un site Web pour être un robotler, il n'est pas pratique car la page Web devrait être accessible pour votre robot pour travailler. Vous devrez lire le TOS (Conditions d'utilisation) de l'hôte pour voir ce que les termes sont destinés à l'utilisation. Certains des hébergements de prix plus bas réduiront votre lien avec une raison d'avoir un impact négatif sur le réseau si vous essayez d'utiliser beaucoup de bande passante, même si elles vous ont donné beaucoup à utiliser.
VPS est d'environ 30 à 80 $ pour un serveur Linux et 60 $ + pour un serveur Windows. Les services dédiés fonctionnent 100 $ + pour les serveurs Linux et Windows.
Vous n'avez pas besoin d'hébergement Web pour exécuter votre araignée. Il suffit de demander un PC avec une connexion Web pouvant agir en tant que serveur dédié, configurez la base de données et exécutez le robot de travail à partir de là.
Cela ne semble pas avoir rien à voir avec Web hébergement. Vous avez juste besoin d'une machine avec une connexion Internet et un serveur de base de données.
Je vérifierais avec votre université si j'étais vous. Au moins à mon époque, beaucoup a été possible d'organiser en interne lorsqu'il est arrivé aux projets de remise des diplômes.
omettre cela, vous pouvez regarder dans un simple VPS ( Server privé virtuel ). Sauf si vous êtes sûr que votre application fonctionne sous mono , vous aurez besoin d'une fenêtre Windows. Les limites de ressources sont généralement beaucoup moins nombreuses que prévu d'un serveur dédié, mais ils sont relativement abordables. Certains offriront une base de données SQL Server MS SQL que vous pouvez utiliser à côté du compte VPS (sur une autre machine). L'installation de SQL Server sur le VPS lui-même peut être une licence de problème sage.
Assurez-vous de vérifier les conditions d'utilisation avant d'ouvrir un compte, ainsi que des spécifications système (virtuelles). Vérifiez également s'il existe une sorte de période minimale de contrat. Parfois, cela peut être plus long qu'un mois unique, surtout s'il n'y a pas de frais d'installation.
Si possible, trouvez un hôte géographiquement proche de vous. Un serveur de l'autre côté du monde peut obtenir un peu gênant d'accéder à distance à un bureau à distance.
Si vous ne pouvez pas l'exécuter de votre bureau pour une raison quelconque, vous aurez besoin d'un hôte qui vous permet d'exécuter un code C # arbitraire. La plupart des serveurs Web bon marché ne le font pas en raison des implications potentielles de sécurité, car plusieurs autres personnes s'exécutent sur le même serveur.
Cela signifie que vous devrez être sur un serveur où vous avez votre propre système d'exploitation. Soit un serveur privé virtuel, où la virtualisation est utilisée pour vous donner votre propre système d'exploitation mais partager le matériel - ou votre propre serveur dédié, où vous avez à la fois le matériel et le logiciel à vous-même.
Notez que si vous exécutez sur un serveur partagé de quelque manière que ce soit, vous devrez vous assurer de me permettre de ne pas causer de problèmes pour vos voisins; Votre problème principal n'utilisera pas trop de CPU ou de bande passante. Ce n'est pas seulement pour la politesse - la plupart des hôtes Web suspendront votre hébergement si vous causez des problèmes sur leur réseau, tels que refuser aux autres utilisateurs du matériel que vous utilisez des ressources en leur consommant de vous-même. Vous pouvez généralement éclater des niveaux d'utilisation plus élevés, mais ils vous couperont si vous les soutenez pour une période de temps significative.
80Legs vous permet d'utiliser leurs rampants pour traiter des millions de pages Web avec votre propre programme.
Les tarifs sont:
Ils prétendent ramper 2 milliards de pages Web par jour.
Vous ne pouvez pas simplement l'exécuter sur votre ordinateur de bureau / ordinateur portable ou sur le serveur de l'université?