Tensorflow: différents résultats avec la même graine aléatoire

Il semble que les réseaux de neurones tensorflow introduisent un caractère aléatoire pendant l'entraînement qui n'est pas contrôlé par une graine aléatoire numpy. Le caractère aléatoire semble provenir au moins d'opérations de hachage python et d'opérations parallélisées s'exécutant dans un ordre non contrôlé.

J'ai réussi à obtenir une reproductibilité à 100% en utilisant un NN keras-tensorflow, en suivant les étapes de configuration de cette réponse: Comment obtenir des résultats reproductibles dans les keras

plus précisément, j'ai utilisé la formulation proposée par @Poete Maudit dans ce lien.

Leur clé était de définir des valeurs de départ aléatoires UP FRONT, pour numpy, python et tensorflow, puis aussi de faire fonctionner tensorflow sur un processeur à un seul thread dans une session spécialement configurée.

Voici le code que j'ai utilisé, mis à jour très légèrement à partir du lien que j'ai publié.

print('Running in 1-thread CPU mode for fully reproducible results training a CNN and generating numpy randomness.  This mode may be slow...')
# Seed value
# Apparently you may use different seed values at each stage
seed_value= 1

# 1. Set `PYTHONHASHSEED` environment variable at a fixed value
import os
os.environ['PYTHONHASHSEED']=str(seed_value)
seed_value += 1

# 2. Set `python` built-in pseudo-random generator at a fixed value
import random
random.seed(seed_value)
seed_value += 1

# 3. Set `numpy` pseudo-random generator at a fixed value
import numpy as np
np.random.seed(seed_value)
seed_value += 1

# 4. Set `tensorflow` pseudo-random generator at a fixed value
import tensorflow as tf
tf.set_random_seed(seed_value)

# 5. Configure a new global `tensorflow` session
session_conf = tf.ConfigProto(intra_op_parallelism_threads=1, inter_op_parallelism_threads=1)
sess = tf.Session(graph=tf.get_default_graph(), config=session_conf)
tf.keras.backend.set_session(sess)

#rest of code...

Peut-être pouvez-vous essayer de régler le nombre de threads de parallélisme à 1. J'ai le même problème: la perte est devenue différente à la septième décimale à partir du deuxième épisode. Cela a été corrigé lorsque j'ai défini

tf.ConfigProto(intra_op_parallelism_threads=1, inter_op_parallelism_threads=1)

Je suggère de vérifier si votre graphe TensorFlow contient des opérations non déterministes. Par exemple, reduction_sum avant TensorFlow 1.2 était l'une de ces opérations. Ces opérations ne sont pas déterministes car l'addition et la multiplication en virgule flottante sont non associatives (l'ordre dans lequel les nombres à virgule flottante sont ajoutés ou multipliés affecte le résultat) et parce que ces opérations ne garantissent pas que leurs entrées sont ajoutées ou multipliées dans le même ordre à chaque fois . Voir également cette question .

EDIT (20 septembre 2020): Le référentiel GitHub framework-determinism contient plus d'informations sur les sources de non-déterminisme dans les frameworks d'apprentissage automatique, en particulier TensorFlow.