Formation de classification de texte CNN overfits

J'essaie d'utiliser une architecture CNN pour classer les phrases de texte. L'architecture du réseau est la suivante:

text_input = Input(shape=X_train_vec.shape[1:], name = "Text_input")

conv2 = Conv1D(filters=128, kernel_size=5, activation='relu')(text_input)
drop21 = Dropout(0.5)(conv2)
conv22 = Conv1D(filters=64, kernel_size=5, activation='relu')(drop21)
drop22 = Dropout(0.5)(conv22)

lstm1 = Bidirectional(LSTM(128, return_sequences = True))(drop22)
lstm2 = Bidirectional(LSTM(64, return_sequences = True))(lstm1)

flat = Flatten()(lstm2)
dense = Dense(128, activation='relu')(flat)
out = Dense(32, activation='relu')(dense)

outputs = Dense(y_train.shape[1], activation='softmax')(out)

model = Model(inputs=text_input, outputs=outputs)
# compile
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

J'ai quelques rappels comme early_stopping et reductionLR pour arrêter la formation et réduire le taux d'apprentissage lorsque la perte de validation ne s'améliore pas (diminue).

norm = BatchNormalization()(conv2)

Une fois le modèle entraîné, l'historique de la formation se déroule comme suit:

Nous pouvons observer ici que la perte de validation ne s'améliore pas à partir de l'époque 5 et que la perte d'entraînement est surajustée à chaque étape.

J'aimerais savoir si je fais quelque chose de mal dans l'architecture de CNN? Les couches de décrochage ne sont-elles pas suffisantes pour éviter le surajustement? Quels sont les autres moyens de réduire le surajustement?

Une suggestion?

Merci d'avance.

Modifier:

J'ai essayé aussi avec la régularisation et le résultat où encore pire:

kernel_regularizer=l2(0.01), bias_regularizer=l2(0.01)

Modifier 2 :

J'ai essayé d'appliquer des couches BatchNormalization après chaque convolution et le résultat est le suivant:

early_stopping = EarlyStopping(monitor='val_loss', 
                               patience=5)
model_checkpoint = ModelCheckpoint(filepath=checkpoint_filepath,
                                   save_weights_only=False,
                                   monitor='val_loss',
                                   mode="auto",
                                   save_best_only=True)
learning_rate_decay = ReduceLROnPlateau(monitor='val_loss', 
                                        factor=0.1, 
                                        patience=2, 
                                        verbose=1, 
                                        mode='auto',
                                        min_delta=0.0001, 
                                        cooldown=0,
                                        min_lr=0)

Edit 3:

Après avoir appliqué l'architecture LSTM:

text_input = Input(shape=X_train_vec.shape[1:], name = "Text_input")

conv2 = Conv1D(filters=128, kernel_size=5, activation='relu')(text_input)
drop21 = Dropout(0.5)(conv2)
pool1 = MaxPooling1D(pool_size=2)(drop21)
conv22 = Conv1D(filters=64, kernel_size=5, activation='relu')(pool1)
drop22 = Dropout(0.5)(conv22)
pool2 = MaxPooling1D(pool_size=2)(drop22)
dense = Dense(16, activation='relu')(pool2)

flat = Flatten()(dense)
dense = Dense(128, activation='relu')(flat)
out = Dense(32, activation='relu')(dense)

outputs = Dense(y_train.shape[1], activation='softmax')(out)

model = Model(inputs=text_input, outputs=outputs)
# compile
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])