壹個文件被放入到分布式文件系統中，會被分割成多個block放置到每壹個的DataNode上，默認dfs.block.size應該是64M，也就是說如果妳放置到HDFS上的數據小於64，那麽將只有壹個Block，此時會被放置到某壹個DataNode中，這個可以通過使用命令：hadoop dfsadmin –report就可以看到各個節點存儲的情況。也可以直接去某壹個DataNode查看目錄：hadoop.tmp.dir/dfs/data/current就可以看到那些block了。Block的數量將會直接影響到Map的個數。當然可以通過配置來設定Map和Reduce的任務個數。Map的個數通常默認和HDFS需要處理的blocks相同。也可以通過配置Map的數量或者配置minimum split size來設定，實際的個數為：max(min(block_size,data/#maps),min_split_size)。Reduce可以通過這個公式計算：0.95*num_nodes*mapred.tasktracker.tasks.maximum。
上一篇:Php工單源代碼下一篇:求幫忙寫個通達信選股公式，非常感激！！！ 請幫忙寫個將下邊指標紫線上穿綠線時的股票選出來的選股公式！