Un collègue de mine pense que HDFS n'a pas de taille maximale de fichier, c'est-à-dire en partitionnement dans 128/256 MEG CHUnks Toute taille de fichier peut être stockée (évidemment le disque HDFS a une taille et qui limitera, mais c'est que le seul limite). Je ne trouve rien dire dire qu'il y a une limite, c'est-à-dire correct?
Merci, Jim
3 Réponses :
Je ne suis pas un expert en Hadoop, mais Afaik, il n'y a pas de limitation explicite sur une seule taille de fichier, bien qu'il existe des facteurs implicites tels que la capacité de stockage globale et la taille maximale des espaces de noms. De plus, il pourrait y avoir des citations administratives sur le nombre d'entités et de tailles d'annuaire. Le sujet de la capacité HDFS est très bien décrit dans Ce document . Les citations sont décrites ici et discuté ici .
Je recommanderais de payer une attention particulière au blog de Michael G Noll référé par le dernier lien, il couvre de nombreux sujets spécifiques à Hadoop.
Je pense qu'elle a raison de dire qu'il n'y a pas de taille maximale de fichier sur HDFS. La seule chose que vous pouvez réellement définir est la taille du morceau, soit 64 Mo par défaut. Je suppose que les tailles de n'importe quelle longueur peuvent être stockées, la seule contrainte pourrait être que plus la taille du fichier est grande, plus le matériel est grand à l'adapter.
Eh bien, il y a évidemment une limite pratique. Mais les identifiants de blocs HDFS physiquement sont les longs Java Longs Donc, ils ont un max de 2 ^ 63 et si votre taille de bloc est de 64 Mo, la taille maximale est de 512 yottabytes.