J'ai un fichier 27 Go que j'essaie de passer d'un AWS Linux EC2 à S3. J'ai essayé à la fois la commande 'S3PUT' et la commande "S3CMD Met". Les deux fonctionnent avec un fichier de test. Ni travailler avec le grand fichier. Aucune erreur n'est donnée, la commande revient immédiatement mais rien ne se passe.
s3cmd put bigfile.tsv s3://bucket/bigfile.tsv
3 Réponses :
Bien que vous puissiez télécharger des objets sur S3 avec des tailles jusqu'à 5 To, S3 dispose d'une limite de taille de 5 Go pour une opération de vente individuelle.
Pour charger des fichiers supérieurs à 5 Go (ou même des fichiers supérieurs à 100 Mo), vous souhaitez utiliser la fonction de téléchargement multipart de S3.
http://docs.amazonwservices.com/amazons3/Latest/Dev/ UploadingObject.html
http://aws.typepad.com/ AWS / 2010/11 / Amazon-S3-MultiPlart-Uppload.html
(ignorer la description obsolète d'une limite d'objet de 5 Go dans le poteau de blog ci-dessus. La limite actuelle est de 5 To.)
La bibliothèque de Boto pour Python prend en charge le téléchargement de MultiPart et le dernier logiciel de Boto comprend un outil de ligne de commande "S3Multiput" qui prend soin de la complexité de vous et même la parallementement des téléchargements de pièces.
Ah, cela ressemble au problème suivant, je suis sur le point de frapper. Je vais régénérer la flie et voir comment je vais avec S3Multiput. Merci.
Le fichier n'existait pas, DOH. J'ai réalisé cela après avoir exécuté les commandes S3 en mode Verbose en ajoutant la balise -v:
S3CMD version 1.1.0 prend en charge le téléchargement multi-pièces dans le cadre de la commande "Met", mais c'est toujours en version bêta (actuellement.)
Je pense que le nouvel outil S3CMD prend en charge le téléchargement de MultiPart automatiquement au moins la version utilisée à Ubuntu.
Voir Stackoverflow.com/Questtions/5774808/ S3CMD-a-t-il échoué-trop-ti mes / ... , et je suggère: Stackoverflow.com/a/22107084/ 116293
Et parfois, il a besoin d'accès racine
sudo s3cmd ...