當壹個文件被放入分布式文件系統時，它將被分成多個塊並放在每個DataNode上。默認的dfs.block.size應該是64M，這意味著如果您放在HDFS上的數據小於64，此時將只有壹個塊，它將放在DataNode中。可以使用命令:hadoop dfsadmin -report查看每個節點的存儲情況。妳也可以直接去DataNode查看目錄:hadoop.tmp.dir/dfs/data/current可以看到那些塊。區塊的數量將直接影響地圖的數量。當然，Map和Reduce的任務數可以通過配置來設置。默認情況下，地圖的數量通常與HDFS需要處理的區塊數量相同。也可以通過配置貼圖數量或最小分割尺寸來設置。實際數量為max (min (block _ size，data/# maps)，min _ split _ size)。Reduce可以通過以下公式計算:0.95 * num _ nodes * mapred . tasktracker . tasks . maximum。
上一篇:辛集市開發建設投資有限公司是國企嗎？下一篇:易語言釣魚輔助源代碼