Comment améliorer mon algorithme pour trouver les sujets chauds comme Twitter fait

Je ne sais pas vraiment si vous recherchez une meilleure façon de filtrer des mots sans importance ou pour générer la liste actuelle de la top dix à partir d'un ensemble de mots valides.

Pour filtrage, je suggérerais un Approche noire Si vous voulez garder cela simple. Si vous voulez quelque chose de plus sophistiqué, vous pouvez créer une statistique qui détermine des mots utilisés équitablement souvent, qui sont ensuite filtrés à partir de votre liste de mots.

pour compter, tronquer et tronquer la liste "Thème de tendance" réelle , Je suggère ceci: xxx

appeler la fonction avec un paramètre Word jusqu'à ce que vous soyez terminé. Il vous donnera le nombre actuel de ce mot en retour, si cela vous est utile.

Appliquez-le une fois sans paramètres et cela vous donnera les dix premiers mots les plus souvent utilisés du mot que vous nourris à elle.

J'ai testé et les performances semblent ok jusqu'à présent.

Bien sûr, il s'agit simplement d'une suggestion et peut être raffinée beaucoup plus loin.

Voici comment nous avons mis en œuvre cela pour la Djangodose Live Feed pendant Djangocon (Remarque: Ceci est un hackjob, nous l'avons écrit en 1 après-midi sans test et bicolore de bifurcation occulatrie, de mieux que je puisse dire que la bifurcation n'a rien à voir avec n'importe quoi). Tout ce qui étant dit, il travaillait plus ou moins pour nous (signification dans la soirée de la bière a été suivi de manière appropriée). XXX

Voici une idée:

calculer la fréquence d'utilisation moyenne de chaque mot en anglais. Mettez ceux-ci dans une table de recherche. Vous voudrez probablement garder seulement les mots les plus courants. Choisissez un certain nombre de mots (disons, 5000) ou une fréquence minimale, cela a du sens. Vous voudrez probablement toujours avoir une liste de mots que vous ne montrez jamais. Si vous triez votre liste de mots par fréquence, cela ne vous mènera pas longtemps pour les examiner et choisir les mots pour toujours exclure.

Pour calculer la fréquence, vous avez besoin d'un échantillon d'entrée. Votre choix d'échantillon d'entrée affectera le résultat. Par exemple, Twitter pourrait utiliser chaque message Twitter jamais affiché comme échantillon d'entrée. Les sujets qui sont constamment discutés sur Twitter (par exemple, «Twitter» lui-même) perdraient de l'importance. Si vous voulez des sujets spécifiques à Twitter pour conserver leur signification, trouvez un autre exemple d'entrée.

L'algorithme de la fréquence informatique est simple:

• pour chaque mot dans l'échantillon:
  • regarde ce mot dans le dictionnaire
  • ajoutez-en un à un compteur associé à ce mot
  • Pour normaliser les données, diviser la fréquence de chaque mot par le nombre de mots dans l'échantillon d'entrée.

    Maintenant, si vous exécutez le même algorithme sur les postes Twitter d'aujourd'hui, vous pouvez comparer les fréquences de mots d'aujourd'hui avec des fréquences de mots attendues.

Si vous souhaitez que les valeurs aberrantes statiquement significatives, vous souhaiterez peut-être calculer un score Z pour chaque mot dans un sous-ensemble récent relatif au texte global.

Donc si P>

p_hat = t / n_t
p_0 = o / n_o

z = (p_hat - p_0) / sqrt((p_0 * (1 - p_0)) / n_t)

Vous voudrez peut-être rechercher l'utilisation des chaînes de Markov / Hidden Markov Models.

Ces modèles mathématiques ont été plutôt efficaces dans le traitement des langues naturelles.

Votre exactitude sur des sujets de tendance serait beaucoup plus élevée. (Et vous pouvez le laisser apprendre ...)