當前位置:編程學習大全網 - 源碼下載 - hadoop eclipse如何創建項目?

hadoop eclipse如何創建項目?

1.安裝環境如下:

系統:Ubuntu14.04

Hadoop版本:hadoop-2.5.0(點擊下載)

Java版本:openjdk-1.7.0_55

Eclipse版本:4.4.0版(點擊下載)

2.將下載了Hadoop源碼包的hadoop-2.5.0-src.tar.gz解壓到工作目錄(本文為/home/白松)。

獲取hadoop-2.5.0-src文件夾。

3.使用以下命令安裝Maven:

$ sudo apt-get install maven

4.安裝Google的開源序列化框架,協議緩沖區。

1)下載protobuf-2.5.0.tar.gz(點擊下載),然後解壓得到protobuf-2.5.0文件夾。

2)輸入protobuf-2.5.0,輸入從屬命令:

$ ./配置

遇到了以下錯誤:

分析:這是Ubuntu的常見錯誤。可以下載所有常用的庫。該命令如下所示:

$ sudo apt-get安裝版本-基本

然後輸入美元。/configure命令。

3)依次執行以下三個命令。

$ make

$開支票

$ sudo制作安裝

4)檢查協議的版本號,看安裝是否成功。

$協議版本

遇到了以下錯誤,如下所示:

分析表明系統找不到lib庫。修改文件/etc/ld.so.conf並添加/usr/local/lib。如下所示:

$ sudo gedit /etc/ld.so.conf

內容:包含/etc/ld.so.conf.d/*。conf/usr/local/lib。

執行下面的命令來更新庫文件路徑,然後可以通過$ protoco-version命令檢查版本號。

$ sudo ldconfig

5.編譯Hadoop源代碼生成Jar包,無需編譯原生代碼、測試用例、生成文檔。在/home/白松/adoop-2.5.0-src目錄中,輸入以下命令:

$ mvn包-Pdist -DskipTests -Dtar

成功編譯後,輸出信息如下:

6.使用以下命令生成Eclipse項目文件:

$ CD Hadoop-maven-插件

$ mvn安裝

$ cd hadoop-2.5.0-src

$ mvn eclipse:eclipse-dskiptest

成功後的輸出信息如下:

7.在Eclipse中導入源代碼:" File " > >"導入" >& gt“現有項目進入工作區”,選擇hadoop-2.5.0-src並確認。

如上圖所示,導入後有59個錯誤,但壹般分為3類。解決方案如下:

錯誤1:無法解析org . Apache . Hadoop . IPC . proto buf . x。

解決方法如下:依次執行以下命令。

$ CD Hadoop-2 . 5 . 0-src/Hadoop-common-project/Hadoop-common/src/test/proto//註意:進入此目錄。

$ protoco-Java _ out =../java *。樣機

最後,刷新Eclipse中的所有項目。至此,只剩下六個錯誤。

錯誤2:無法將AVRO記錄解析為TestAvroSerialization.java類型。

解決方案如下:

首先下載avro-tools-1.7.4.jar(點擊下載)。存儲在hadoop-2.5.0-src目錄中。

然後執行以下命令:

$ CD Hadoop-2 . 5 . 0-src/Hadoop-common-project/Hadoop-common/src/test/avro

$ Java-jar ~/Hadoop-2 . 5 . 0-src/avro-tools-1 . 7 . 4 . jar編譯模式avroRecord.avsc../java

最後,刷新Eclipse項目。只剩下三個錯誤了。

錯誤3:項目“Hadoop-Streaming”缺少所需的源...構建路徑問題。

解決方案如下:

右鍵單擊Hadoop-流項目-& gt;屬性-& gt;左邊的Java構建路徑->源代碼->;選定的錯誤項目-& gt;右邊去掉,如下圖所示。

至此,在Eclipse中創建Hadoop的項目完成。

  • 上一篇:HashQuark礦池:存幣即挖礦
  • 下一篇:試用期被勸退,男子刪庫跑路被判刑十個月,判刑的依據是什麽?
  • copyright 2024編程學習大全網