Quelle est la valeur maximale de MapReduce.Task.io.sort.mb?

"mapReduce.task.io.sort.mb" est la quantité totale de mémoire tampon à utiliser lors de la tri des fichiers, des mégaoctets. Par défaut, donne à chaque flux de fusion 1MB, qui devrait minimiser la recherche. Vous devez donc vous assurer que vous disposez de 100 000 Mo de mémoire disponible sur les nœuds de cluster.

Je réalise que cette question est ancienne, mais pour ceux qui demandent la même question, vous pouvez consulter certains des bugs autour de cette valeur étant coiffée

http://docs.hortonworks.com/hdpdocuments/hdp2/hdp-2.1.3/bk_relneasenotes_hdp_2.1/content/ch_relnotes-hdpch_relnotes-hdpch_relnotes-hdpch_relnotes-hdp-1.1-karkissues-mapreduce.html

bug-12005: mapreduce.task.io.sort.mb est plafonné à 2047.

Problème: mapReduce.task.io.sort.mb est codé en papier pour ne pas autoriser les valeurs supérieures à 2047. Si vous entrez une valeur plus grande, alors ces tâches de la carte se bloqueront toujours à cette ligne:

https://github.com/apache/hadoop-mapreduce/blob/hdfs-641/src/java/org/apache/haadoop/mapred/mapk.java?source=cc#l746

Ligne 427: Nous ne pouvons pas définir mapreduce.task.io.sort.mb dépasse 2047