Obtenir du texte d'une URL dans ASP.NET

Je pense que vous avez besoin d'un analyseur HTML comme HTMLagilityPack ou que vous pouvez utiliser le nouveau né Bén .. YQL, son nouvel outil Développer par Yahoo Sa syntaxe est comme SQL et vous avez besoin d'une petite connaissance de XPath ...

http://developer.yahoo.com/yql/

Merci

Utilisez un WebClient instance pour obtenir votre balisage ... xxx

et ensuite Utilisez le HTMLagilityPack pour analyser la réponse avec xpath ... xxx

Une fois que vous avez téléchargé la page, vous avez démarré à l'aide d'une bibliothèque comme HTML Agility Pack pour analyser HTML, votre travail commence :)

L'écran grattage est divisé en deux parties.

Premier le WebCrawler (beaucoup d'informations à ce sujet sur le Web et le code simple fourni ici avec WebClient par d'autres réponses). Le chronomètre doit traverser des liens et télécharger des pages. Si vous téléchargez de nombreuses pages et que vous avez l'URL de démarrage, vous pouvez rouler votre propre ou utiliser un existant. Découvrez Wikipedia pour une liste de webcrawlers / araignées open source.

La deuxième partie consiste à analyser le code HTML et ne tirez que le texte que vous souhaitez et omettez n'importe quel bruit (en-têtes, bannières, pieds de page, etc.). Il suffit de traverser le DOM est facile avec les bibliothèques existantes, déterminant quoi faire avec ce que vous analysez la partie difficile.

J'ai un peu écrit à ce sujet avant à un autre Donc, question et cela pourrait vous donner quelques idées comment pratiquer manuellement le contenu que vous voulez. De mon expérience, il n'y a pas de moyen à 100% de trouver le contenu principal d'une page, et plus souvent que non, vous devez lui donner manuellement certains pointeurs. La partie difficile est que si la disposition HTML de la page change, votre grattoir d'écran commence à échouer.

Vous pouvez appliquer des statistiques et comparer le code HTML de plusieurs pages afin de déduire où les annonces, les menus etc. sont, afin d'éliminer ceux-ci.

Puisque vous mentionnez des sites de presse, deux autres approches devraient être plus faciles à appliquer sur ces sites par rapport à l'analyse du texte à partir du HTML d'origine.

1. Vérifiez si la page a une URL d'impression. Par exemple. Un lien sur CNN a une URL d'impression équivalente qui est beaucoup plus facile à analyser.
2. Vérifiez si la page dispose d'une représentation RSS et choisissez plutôt le texte du flux RSS. Si l'aliment n'a pas tout le contenu, il devrait vous donner suffisamment de texte pour localiser le texte dans la page HTML complète.

   Découvrez également Le moyen facile d'extraire un texte utile à partir de HTML arbitraire pour une contribution à la création d'un analyseur plus général. Le code est en python mais vous devriez être capable de le convertir sans trop de problèmes.

Les techniques de résumation de texte sont ce que vous êtes probablement après. Mais comme une heuristique approximative, vous pouvez le faire avec des étapes relativement simples tant que vous ne comptez pas sur 100% de résultats parfaits tout le temps.

Tant que vous n'avez pas besoin de prendre en charge des systèmes d'écriture qui ne disposent pas d'espaces entre les mots (chinois, japonais), vous pouvez obtenir de très bons résultats en recherchant les premiers couple de séquences de mots consécutifs avec un seuil arbitraire que vous passerez quelques jours à régler. (Chinois et Japonais nécessiteraient un algorithme d'identification de pause de mots raisonnable en plus de cette heuristique).

Je commencerais avec un analyseur HTML (HTML Agility Pack dans DotNet, ou quelque chose du genre à la beauté de Ruby's Nokogiri ou Python de Python si vous souhaitez expérimenter avec les algorithmes dans un environnement plus interactif avant de vous engager dans votre solution C #).

Pour réduire l'espace de recherche, séquences de liens avec peu ou pas de texte environnant en utilisant les fonctionnalités de votre analyseur HTML. Cela devrait éliminer la plupart des panneaux de navigation et certains types d'annonces. Vous pouvez également étendre ceci pour rechercher des liens qui ont des mots après eux mais aucune ponctuation; Cela éliminerait les liens descriptifs.

Si vous commencez à voir des courses de texte suivies de "". ou "," avec dire, 5 mots ou plus (que vous pouvez essayer de régler plus tard), vous commenceriez à marquer cela comme une phrase potentielle ou un fragment de phrase. Lorsque vous trouvez plusieurs courses d'affilée, cela a de très bonnes chances d'être la partie la plus importante de la page. Vous pouvez marquer du texte avec des balises

autour de lui un peu plus haut. Une fois que vous avez une bonne quantité de ces types de séquences, les chances sont plutôt bonnes que vous avez un "contenu" plutôt que de la mise en page Chrome.

Ce n'est pas parfait et vous devrez peut-être ajouter un mécanisme pour modifier la heuristique basée sur des structures de page problématiques que vous numérisez régulièrement. Mais si vous construisez quelque chose sur la base de cette approche, il devrait fournir des résultats assez raisonnables pour 80% ou plus de votre contenu.

Si vous trouvez ce type de méthode inadéquate, vous voudrez peut-être examiner la probabilité bayésienne ou les modèles cachés de Markov afin d'améliorer les résultats.