Je voulais en savoir plus sur keras tokenizer et une recherche rapide sur Google m'a conduit à cette page (c'était le premier lien de la recherche Google). Pourquoi ne répertorie-t-il pas toutes les méthodes et tous les attributs? Comment pourrais-je les voir? Y a-t-il une page séparée pour cela?
J'ai trouvé un autre lien . Cela semble être la documentation officielle de keras mais pour l'ancienne version et il répertorie les méthodes et les attributs. J'aimerais voir des informations similaires mais pour la version la plus récente de keras
3 Réponses :
Le prétraitement Keras est déplacé vers un package distinct. Le code source est disponible ici: https: // github .com / keras-team / keras-preprocessing / blob / master / keras_preprocessing / text.py
L'installation de Keras installera également keras_applications (architectures de modèle bien connues) et keras_preprocessing (utilitaires pour travailler avec des données d'image, de texte et de séquence). https://github.com/keras-team/keras/blob/ master / setup.py (lignes 40,41).
Dans le REPL python, vous pouvez obtenir la liste de toutes les méthodes:
Je n'ai pas trouvé de détails sur les attributs et les méthodes sur ces pages
Dans le lien GitHub que j'ai fourni, je peux voir 'class Tokenizer' avec des méthodes comme fit_on_texts, fit_on_sequences, text_to_sequences, etc. J'ai mis à jour la réponse avec une capture d'écran. Pouvez-vous clarifier ce qui manque?
je parle d'attributs et de méthodes. si vous regardez le deuxième lien que j'ai fourni, il fournit une description détaillée telle que document_count: int. Nombre de documents (textes / séquences) sur lesquels le tokenizer a été formé. Défini uniquement après l'appel de fit_on_texts ou fit_on_sequences. Le deuxième lien contient les détails de toutes les méthodes et attributs. Vos liens n'expliquent pas cela. Dans votre capture d'écran python, il montre document_count , mais n'explique pas ce que c'est. Je dois effectuer une recherche Google sur chacun des éléments de votre capture d'écran ... merci pour l'aide
Pour obtenir la documentation des méthodes de l'objet Tokenizer , vous pouvez simplement faire
['__class__', '__delattr__', '__dict__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__gt__', '__hash__', '__init__', '__init_subclass__', '__le__', '__lt__', '__module__', '__ne__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__', '__weakref__', 'char_level', 'document_count', 'filters', 'fit_on_sequences', 'fit_on_texts', 'index_docs', 'lower', 'num_words', 'oov_token', 'sequences_to_matrix', 'split', 'texts_to_matrix', 'texts_to_sequences', 'texts_to_sequences_generator', 'word_counts', 'word_docs']
Dans le terminal, le début du la sortie du dernier appel ressemble à ceci - qui est très similaire à la documentation de keras 1.2 à laquelle vous avez fait référence dans votre deuxième lien:
Pour les attributs de l'objet Tokenizer , je n'ai pas non plus trouvé la documentation appropriée.
Mais - comme alternative à la réponse de Manoj - pour voir simplement les différents attributs et méthodes d'un objet Tokenizer , vous pouvez simplement
>>> tokenizer = keras.preprocessing.text.Tokenizer() >>> dir(tokenizer)
dont la sortie est
>>> import keras >>> help(keras.preprocessing.text.Tokenizer)
si vous utilisez jupyter notebook, vous pouvez ajouter la méthode? pour obtenir une brève description avec des entrées et comme ? methodname ou un ?? pour obtenir le code source de cette méthode
comme ??methodname
pourriez-vous partager un exemple avec une capture d'écran?
vous pouvez utiliser tab pour parcourir les méthodes disponibles dans un module, tout comme un IDE.
Le tokenizer n'est tout simplement pas bien documenté. Vous pourriez peut-être poser des questions spécifiques à ce sujet en fonction du code source.