L'ensemble de données COCO est très volumineux pour que je puisse le télécharger sur google colab. Puis-je télécharger directement l'ensemble de données sur google colab?
3 Réponses :
Vous pouvez le télécharger directement avec wget
!wget http://images.cocodataset.org/zips/train2017.zip
De plus, vous devez utiliser une instance de GPU qui donne plus d'espace à 350 Go.
Vous pouvez le télécharger sur Google Drive, puis monter le lecteur sur Colab.
import os
os.chdir("drive/My Drive/cocodataset")
ensuite vous pouvez accéder au dossier contenant l'ensemble de données, par exemple.
from google.colab import drive
drive.mount('/content/drive')
Une autre approche pourrait consister à importer uniquement le fichier d'annotations sur Google Colab. Il n'est pas nécessaire de télécharger le jeu de données d'image. Nous utiliserons l ' API PyCoco . Ensuite, lors de la préparation d'une image, au lieu d'accéder au fichier image à partir du dossier Drive / local, vous pouvez lire le fichier image avec l'URL!
# The normal method. Read from folder / Drive
I = io.imread('%s/images/%s/%s'%(dataDir,dataType,img['file_name']))
# Instead, use this! Url to load image
I = io.imread(img['coco_url'])
Cette méthode vous permet d'économiser beaucoup d'espace, de temps de téléchargement et d'efforts. Cependant, vous aurez besoin d'une connexion Internet fonctionnelle pendant la formation pour récupérer les images (ce que vous avez bien sûr, puisque vous utilisez colab).
Si vous souhaitez travailler avec l'ensemble de données COCO, vous pouvez consulter mon message sur le support .
Bonjour et bienvenue dans SO, Pouvez-vous fournir plus de détails, par exemple ce qui est «très grand» et d'autres étapes pour reproduire votre problème. Une capture d'écran avec plus de détails sur ce que vous voyez peut également vous aider
C'est environ 20 Go, y compris les ensembles de données de train, de test et de validation. Je souhaite importer directement l'ensemble de données de cocodasets.org dans mon bloc-notes Google colab.