當前位置:編程學習大全網 - 網站源碼 - 如何使用eclipse編寫mapreduce程序

如何使用eclipse編寫mapreduce程序

使用eclipse編寫mapreduce程序的步驟:

壹.安裝hadoop for eclipse的插件,註意:插件版本要和hadoop版本壹致。

下載:hadoop-eclipse-plugin-2.5.2.jar

nic.cn/apache/hadoop/common/hadoop-2.5.2/

在hadoop-2.5.2-src ? hadoop-mapreduce-project ? hadoop-mapreduce-examples ? src ? main ? java ? org ? apache ? hadoop ? examples目錄中找到WordCount.java

將WordCount.java復制到剛才建的myhadoop項目的src下

創建數據源文件word.txt

在HDFS上創建輸入目錄,再將word.txt傳到HDFS上

$hadoop fs -mkdir /tmp/input

$hadoop fs -copyFromLocal /home/hadoop/word.txt /tmp/input/word.txt

回到eclipse 刷新DFS將看到

運行WordCount.java

(1).在新建的項目Hadoop,點擊WordCount.java,右鍵-->Run As-->Run Configurations

(2).在彈出的Run Configurations對話框中,點Java Application,右鍵-->New,這時會新建壹個application名為WordCount

(3).配置運行參數,點Arguments,在Program arguments中輸入妳要傳給程序的輸入文件夾和妳要求程序將計算結果保存的文件夾,如:

hdfs://10.6.9.226:9000/tmp/input/word.txt hdfs://10.6.9.226:9000/tmp/output

點擊Run,等運行結束刷新DFS Locations將會看到output文件夾

  • 上一篇:Cf監控熱鍵源代碼
  • 下一篇:設計師是怎樣配置echarts圖表的
  • copyright 2024編程學習大全網