J'essaie d'utiliser un encodeur basé sur QRNN pour la classification de texte en réglant un LM pré-entraîné QRNN.
Voici la configuration de qrnn
ImportError: No module named 'forget_mult_cuda'
Je passe la configuration à lm_learner
lm_learner = language_model_learner(data_lm, AWD_LSTM, config=qrnn_config, pretrained=False,drop_mult=.1,pretrained_fnames=(pretrained_lm_fname,pretrained_itos_fname))
Ce que j'obtiens est :
emb_sz:int = 400 nh: int = 1550 nl: int = 3 qrnn_config = copy.deepcopy(awd_lstm_lm_config) dps = dict(output_p=0.25, hidden_p=0.1, input_p=0.2, embed_p=0.02, weight_p=0.15) qrnn_config.update({'emb_sz':emb_sz, 'n_hid':nh, 'n_layers':nl, 'pad_token':1, 'qrnn':True}) qrnn_config
La version Fast-ai est: '1.0.51.dev0'
3 Réponses :
Essayez de nettoyer cuda cash en utilisant
gc.collect() torch.cuda.empty_cache()
Utilisez ceci pour mettre à jour QRnn en true
modèle de langue
config = awd_lstm_clas_config.copy() config['qrrn']=True
Modèle de classification
config = awd_lstm_lm_config.copy() config['qrrn']=True
Il semble qu'il vous manque le paquet ninja.
Utilisez:
pip install ninja
Et redémarrez votre notebook, si vous l'utilisez.