Questions et réponses pour le tokenize :

La tokenisation est l'acte de fractionnement d'une chaîne dans des éléments discrets appelés jetons.

7
votes
Ma question en un mot: Quelqu'un peut-il connaître un twitteranalyzer em> ou TwitterTokenizer em> pour Lucene? Version plus détaillée: P> Je v ...

7
votes
Je veux utiliser String Tokenizer pour la chaîne de CPP, mais tout ce que je pouvais trouver, c'était pour Char *. Y a-t-il quelque chose de similaire pour CPP String? ...

7
votes
Comme le titre dit: Peut-on utiliser ... à l'aide de FTS3 (Tokenizer ICU Th_th, ...) . Si nous pouvons, quelqu'un sait-il ce que les localités sont suportées et ...

6
votes
J'essaie de togmenter et de supprimer les mots d'arrêt d'un fichier TXT avec Lucene. J'ai ceci: xxx Mon principal ressemble à ceci: ...