當前位置:編程學習大全網 - 源碼下載 - 有哪些常用的配置文件,配置哪些屬性來構建hadoop集群?

有哪些常用的配置文件,配置哪些屬性來構建hadoop集群?

壹.導言

在查閱了很多在線教程後,hadoop終於在ubuntu14.04中安裝配置成功。詳細的安裝步驟如下所述。我使用的環境:兩臺ubuntu 14.04 64位桌面,hadoop選擇2.7.1版本。(單機版的配置主要在前面介紹,集群版基於單機版,主要是配置文件不壹樣,後面會詳細說明。)

二。準備工作

2.1創建用戶

創建壹個用戶並向其添加root權限。經過個人驗證,下面這個方法比較好。

1 sudo adduser Hadoop 2 sudo vim/etc/sudoers 3 #修改如下:4 root all =(all)all 5 Hadoop all =(all)all。

為hadoop用戶創建壹個目錄,並將其添加到sudo用戶組中。該命令如下所示:

1 sudo ChownHadoop/Home/Hadoop 2 #添加到Sudo用戶組3 sudo adduser hadoop sudo。

最後,註銷當前用戶,使用新創建的hadoop用戶登錄。

2.2?安裝ssh服務

默認情況下,ubuntu中沒有安裝ssh服務器(只有ssh客戶端),所以首先運行下面的命令來安裝openssh-server。安裝過程輕松愉快~

安裝ssh openssh-server

2.3配置ssh無密碼登錄

直接編碼:執行下面的代碼後,可以直接登錄(可以運行ssh localhost進行驗證)。

1 cd ~/。ssh #如果找不到這個文件夾,首先執行“ssh localhost”2sh-keygen-t RSA 3c PID _ RSA . pub authorized _ keys。

註意:

這裏實現的是自己無密登錄,只適用於hadoop單機環境。如果您配置Hadoop集群並設置主服務器和從服務器的SSH非秘密登錄,您可以

三。安裝過程

3.1下載hadoop安裝包

有兩種下載方法:

1.直接去官網下載:

2.使用wget命令下載:

3.2配置hadoop

1.解壓下載的hadoop安裝包,修改配置文件。我的解壓目錄是(/home/hadoop/Hadoop-2 . 7 . 1),即進入/home/Hadoop/文件夾,執行下面的解壓命令。

tar-zxvf Hadoop-2 . 7 . 1 . tar . gz

2.修改(hadoop2.7.1/etc/hadoop/)目錄下的配置文件:hadoop-env.sh,core-site.xml,mapred-site.xml.template,hdfs-site.xml。

(1).core-site.xml配置:hadoop.tmp.dir的路徑可以根據自己的習慣設置。

& lt配置& gt& lt屬性& gt& lt名稱& gtHadoop . tmp . dir & lt;/name & gt;& lt值& gtfile:/home/Hadoop/Hadoop/tmp & lt;/value & gt;& lt描述& gt其他臨時目錄的基礎。& lt/description & gt;& lt/property & gt;& lt屬性& gt& lt名稱& gtfs.defaultFS & lt/name & gt;& lt值& gthdfs://localhost:9000</value & gt;& lt/property & gt;& lt/configuration & gt;

(2).?Mapred-site.xml.template配置:?

& lt配置& gt& lt屬性& gt& lt名稱& gtmapred . job . tracker & lt;/name & gt;& lt值& gtlocalhost:9001 & lt;/value & gt;& lt/property & gt;& lt/configuration & gt;

(3).?Hdfs-site.xml配置:?dfs.namenode.name.dir和dfs.datanode.data.dir的路徑可以自由設置,最好在hadoop.tmp.dir目錄下

註意:如果運行Hadoop時發現找不到jdk,可以直接把jdk的路徑放在hadoop-env.sh中,如下:

export java _ home = "/opt/Java _ file/JDK 1 . 7 . 0 _ 79 ",這是安裝Java時的路徑。

& lt配置& gt& lt屬性& gt& lt名稱& gtdfs.replication & lt/name & gt;& lt值& gt1 & lt;/value & gt;& lt/property & gt;& lt屬性& gt& lt名稱& gtDFS . NameNode . name . dir & lt;/name & gt;& lt值& gtfile:/home/Hadoop/Hadoop/tmp/DFS/name & lt;/value & gt;& lt/property & gt;& lt屬性& gt& lt名稱& gtDFS . datanode . data . dir & lt;/name & gt;& lt值& gtfile:/home/Hadoop/Hadoop/tmp/DFS/data & lt;/value & gt;& lt/property & gt;& lt/configuration & gt;

配置完成後運行hadoop。

第四步:運行hadoop

4.1?初始化HDFS系統

執行hadop2.7.1目錄下的命令:

bin/hdfs命名節點格式

以下結果表明初始化是成功的。

4.2?開放?NameNode?然後呢。DataNode?守護進程

執行hadop2.7.1目錄下的命令:

sbin/start-dfs.sh

成功截圖如下:

4.3使用jps命令查看流程信息:

如果出現如圖所示的結果,說明DataNode和NameNode都已經打開。

4.4查看網絡界面

在瀏覽器中輸入?http://localhost:50070?,可以查看相關信息,截圖如下

至此,hadoop環境已經搭建完成。

5.運行wordcount演示。

1.?本地新建壹個文件,內容隨便填:比如我在home/hadoop目錄下新建了壹個haha.txt文件,內容是“hello world!”。

2.然後在分布式文件系統(hdfs)中新建壹個測試文件夾,上傳我們的測試文件haha.txt,在hadoop-2.7.1目錄下運行命令:

#在hdfs的根目錄下建立了壹個測試目錄。

bin/hdfs dfs -mkdir /test

#查看HDFS根目錄下的目錄結構

bin/hdfs dfs -ls /

結果如下:

3.?將本地haha.txt文件上傳到測試目錄;

#上傳

bin/hdfsdfs-put/home/Hadoop/haha . txt/test/# View

bin/HDFS DFS-ls/測試/

結果如下:

4.運行Word Countdemo

#將運行結果保存在/test/out目錄中

bin/Hadoop jar share/Hadoop/MapReduce/Hadoop-MapReduce-examples-2 . 7 . 1 . jar word count/test/haha . txt/test/out

#查看/test/out目錄中的文件

bin/HDFS DFS-ls/測試/輸出

結果如下:

運行結果表明運行成功,結果保存在part-r-00000中。

5.檢查運行結果;

#查看部分r-00000中的運行結果

bin/Hadoop fs-cat/test/out/part-r-00000

結果如下:

至此,wordcount演示完畢。

不及物動詞摘要

配置過程中遇到很多問題,最後都壹壹解決,收獲頗豐。特此分享壹下這個配置的經驗,方便想配置hadoop環境的朋友~

(Hadoop集群的安裝配置過程和單機版基本相同,主要是配置文件方面,ssh無鑰匙登錄要求主從可以互相登錄。

  • 上一篇:寶麗碧艾賦顏晨光潔面膏怎麽樣
  • 下一篇:Url批量推送源代碼
  • copyright 2024編程學習大全網