ValueError: l'option sampler est mutuellement exclusive avec shuffle pytorch

TLDR; Supprimez shuffle = True dans ce cas, car SubsetRandomSampler mélange déjà les données.

Ce que fait torch.utils.data.SubsetRandomSampler (veuillez consulter la documentation en cas de doute ) est-ce prendra une liste d'indices et retournera leur permutation.

Dans votre cas, vous avez des indices correspondant à training (ce sont des indices d'éléments dans le jeu de données d'entraînement ) et validation.

Supposons que cela ressemble à ceci:

module.eval()

total_batches = 0
batch_accuracy = 0
for images, labels in val_loader:
    total_batches += 1
    with torch.no_grad():
        output = module(images)
        # In case it outputs logits without activation
        # If it outputs activation you may have to use argmax or > 0.5 for binary case
        # Item gets float from torch.tensor
        batch_accuracy += torch.mean(labels == (output > 0.0)).item()

print("Overall accuracy: {}".format(batch_accuracy / total_batches))

À chaque passage SubsetRandomSampler renverra un numéro de ces listes au hasard et celles-ci seront à nouveau randomisées une fois qu'elles auront toutes été renvoyées ( __iter __ code> sera appelé à nouveau).

Donc, SubsetRandomSampler pourrait renvoyer quelque chose comme ceci pour val_indices code > (de manière analogue pour train_indices):

module.eval()
with torch.no_grad():
    output = module(dataset[5380])

Maintenant, chacun de ces nombres est un index de votre ensemble de données d'origine code > . Veuillez noter que la validation est mélangée de cette façon, tout comme train sans utiliser shuffle = True . Ces indices ne se chevauchent pas, donc les données sont correctement fractionnées.

Informations supplémentaires

• shuffle utilise torch.utils.data.RandomSampler sous le capot si shuffle = True est spécifié, voir code source . Cela équivaut à son tour à utiliser torch.utils.data.SubsetRandomSampler avec tous les indices ( np.arange (len (datatest)) ) spécifié .
• vous n'avez pas besoin de pré-mélanger np.random.shuffle (img_inds) car les index seront mélangés à chaque passage de toute façon
• n'utilisez pas numpy si torch fournit la même fonctionnalité . Il y a torch.arange , mélanger les deux bibliothèques n'est presque jamais nécessaire.

Inférence

Image unique

Il suffit de la passer à travers votre réseau pour obtenir une sortie, par exemple:

val_indices = [1, 8, 11, 7, 14]  # Epoch 1
val_indices = [11, 7, 8, 14, 1]  # Epoch 2
val_indices = [7, 1, 14, 8, 11]  # Epoch 3

La première ligne met le modèle en mode d'évaluation (change le comportement de certains calques), le gestionnaire de contexte désactive le dégradé (car il n'est pas nécessaire pour les prédictions). Celles-ci sont presque toujours utilisées lors de la "vérification de la sortie du réseau neuronal".

Vérification de l'ensemble de données de validation

Quelque chose dans ce sens, notez les mêmes idées appliquées que pour une seule image:

XXX

Autres cas

Veuillez consulter certains guides pour débutants ou tutoriels et comprenez ces concepts car StackOverflow n'est pas un endroit pour refaire ce travail (questions plutôt concrètes et petites), merci.