Apprentissage de transfert - Comportement étrange Val_Loss

J'essaie d'utiliser le transfert-apprentissage sur MobileNetv2 de Keras.application à Phyton. Mes images appartiennent à 4 classes d'une quantité de 8000, 7000, 8000 et 8000 images dans la première, deuxième, troisième et dernière classe. Mes images sont à l'échelle grise et redimensionnées de 1024x1024 à 128x128.

J'ai supprimé les couches denses de classification de MobileNetV2 et ajouté mes propres couches denses: P>

base_model = MobileNetV2(input_shape=(128, 128, 3), weights='imagenet', include_top=False)

# define classificator
x = base_model.output
x = GlobalAveragePooling2D()(x)
x = Dense(4, activation='relu')(x)
x = Dropout(0.8)(x)
x = Dense(4, activation='relu')(x)
preds = Dense(4, activation='softmax')(x) #final layer with softmax activation

model = Model(inputs=base_model.input, outputs=preds)

for layer in model.layers[:-4]:
    layer.trainable = False

opt = optimizers.SGD(lr=0.001, decay=4e-5, momentum=0.9)
model.compile(optimizer=opt, loss='categorical_crossentropy', metrics=['accuracy'])

batch_size = 32
EPOCHS = int(trainY.size/batch_size)

H = model.fit(trainX, trainY, validation_data=(testX, testY), epochs=EPOCHS, batch_size=batch_size)