當前位置:編程學習大全網 - 編程軟體 - 如何使用eclipse編寫mapreduce程序

如何使用eclipse編寫mapreduce程序

使用eclipse編寫mapreduce程序的步驟:

壹.安裝hadoop for eclipse的插件,註意:插件版本要和hadoop版本壹致。

下載:hadoop-eclipse-plugin-2.5.2.jar

nic.cn/apache/hadoop/common/hadoop-2.5.2/

在hadoop-2.5.2-src ? hadoop-mapreduce-project ? hadoop-mapreduce-examples ? src ? main ? java ? org ? apache ? hadoop ? examples目錄中找到WordCount.java

將WordCount.java復制到剛才建的myhadoop項目的src下

創建數據源文件word.txt

在HDFS上創建輸入目錄,再將word.txt傳到HDFS上

$hadoop fs -mkdir /tmp/input

$hadoop fs -copyFromLocal /home/hadoop/word.txt /tmp/input/word.txt

回到eclipse 刷新DFS將看到

運行WordCount.java

(1).在新建的項目Hadoop,點擊WordCount.java,右鍵-->Run As-->Run Configurations

(2).在彈出的Run Configurations對話框中,點Java Application,右鍵-->New,這時會新建壹個application名為WordCount

(3).配置運行參數,點Arguments,在Program arguments中輸入妳要傳給程序的輸入文件夾和妳要求程序將計算結果保存的文件夾,如:

hdfs://10.6.9.226:9000/tmp/input/word.txt hdfs://10.6.9.226:9000/tmp/output

點擊Run,等運行結束刷新DFS Locations將會看到output文件夾

  • 上一篇:求大神幫忙告知編程軟件mastercam9.1裝上去打不開,導致停止怎麽回事
  • 下一篇:用EXCEL寫壹個宏.每天自動以日期時間為文件名保存怎麽寫?
  • copyright 2024編程學習大全網