Lecture de gros fichiers HDF5

Les crashs signifient probablement que vous manquez de mémoire. Comme Vignesh Pillay suggéra, j'essaierais de chunder les données et de travailler sur un petit morceau de celui-ci à la fois. Si vous utilisez la méthode des pandas Read_hdf Vous pouvez utiliser l'itérateur et le chunksize Paramètres pour contrôler le chunking:

import pandas as pd
data_iter = pd.read_hdf('/tmp/test.hdf', key='test_key', iterator=True, chunksize=100)
for chunk in data_iter:
   #train cnn on chunk here
   print(chunk.shape)

Ma réponse mise à jour 2020-08-03 pour refléter le code que vous avez ajouté à votre question. Comme @tober noté, vous manquez de mémoire. La lecture d'un jeu de données de forme (20670, 224, 224, 3) deviendra une liste de 3,1 g entités. Si vous lisez 3 ensembles d'images, cela nécessitera encore plus de RAM. Je suppose que c'est des données d'image (peut-être 20670 images de forme (224, 224, 3))? Si tel est le cas, vous pouvez lire les données dans des tranches avec les deux H5py code> et code> (pytables). Cela rendra les données comme une matrice numpue, que vous pouvez utiliser directement (pas besoin de manipuler dans une structure de données différente).

processus de base ressemblerait à ceci: p>

with h5py.File(os.getcwd() + "/Results/Training_Dataset.hdf5",'r') as db:
     training_db = db['data']
     # loop to get images 1 by 1
     for icnt in range(20670) :
         image_arr = training_db [icnt,:,:,:}

     # then do something with the image