在查閱了很多在線教程後,hadoop終於在ubuntu14.04中安裝配置成功。詳細的安裝步驟如下所述。我使用的環境:兩臺ubuntu 14.04 64位桌面,hadoop選擇2.7.1版本。(單機版的配置主要在前面介紹,集群版基於單機版,主要是配置文件不壹樣,後面會詳細說明。)
二。準備工作
2.1創建用戶
創建壹個用戶並向其添加root權限。經過個人驗證,下面這個方法比較好。
1 sudo adduser Hadoop 2 sudo vim/etc/sudoers 3 #修改如下:4 root all =(all)all 5 Hadoop all =(all)all。
為hadoop用戶創建壹個目錄,並將其添加到sudo用戶組中。該命令如下所示:
1 sudo ChownHadoop/Home/Hadoop 2 #添加到Sudo用戶組3 sudo adduser hadoop sudo。
最後,註銷當前用戶,使用新創建的hadoop用戶登錄。
2.2?安裝ssh服務
默認情況下,ubuntu中沒有安裝ssh服務器(只有ssh客戶端),所以首先運行下面的命令來安裝openssh-server。安裝過程輕松愉快~
安裝ssh openssh-server
2.3配置ssh無密碼登錄
直接編碼:執行下面的代碼後,可以直接登錄(可以運行ssh localhost進行驗證)。
1 cd ~/。ssh #如果找不到這個文件夾,首先執行“ssh localhost”2sh-keygen-t RSA 3c PID _ RSA . pub authorized _ keys。
註意:
這裏實現的是自己無密登錄,只適用於hadoop單機環境。如果您配置Hadoop集群並設置主服務器和從服務器的SSH非秘密登錄,您可以
三。安裝過程
3.1下載hadoop安裝包
有兩種下載方法:
1.直接去官網下載:
2.使用wget命令下載:
3.2配置hadoop
1.解壓下載的hadoop安裝包,修改配置文件。我的解壓目錄是(/home/hadoop/Hadoop-2 . 7 . 1),即進入/home/Hadoop/文件夾,執行下面的解壓命令。
tar-zxvf Hadoop-2 . 7 . 1 . tar . gz
2.修改(hadoop2.7.1/etc/hadoop/)目錄下的配置文件:hadoop-env.sh,core-site.xml,mapred-site.xml.template,hdfs-site.xml。
(1).core-site.xml配置:hadoop.tmp.dir的路徑可以根據自己的習慣設置。
& lt配置& gt& lt屬性& gt& lt名稱& gtHadoop . tmp . dir & lt;/name & gt;& lt值& gtfile:/home/Hadoop/Hadoop/tmp & lt;/value & gt;& lt描述& gt其他臨時目錄的基礎。& lt/description & gt;& lt/property & gt;& lt屬性& gt& lt名稱& gtfs.defaultFS & lt/name & gt;& lt值& gthdfs://localhost:9000</value & gt;& lt/property & gt;& lt/configuration & gt;
(2).?Mapred-site.xml.template配置:?
& lt配置& gt& lt屬性& gt& lt名稱& gtmapred . job . tracker & lt;/name & gt;& lt值& gtlocalhost:9001 & lt;/value & gt;& lt/property & gt;& lt/configuration & gt;
(3).?Hdfs-site.xml配置:?dfs.namenode.name.dir和dfs.datanode.data.dir的路徑可以自由設置,最好在hadoop.tmp.dir目錄下
註意:如果運行Hadoop時發現找不到jdk,可以直接把jdk的路徑放在hadoop-env.sh中,如下:
export java _ home = "/opt/Java _ file/JDK 1 . 7 . 0 _ 79 ",這是安裝Java時的路徑。
& lt配置& gt& lt屬性& gt& lt名稱& gtdfs.replication & lt/name & gt;& lt值& gt1 & lt;/value & gt;& lt/property & gt;& lt屬性& gt& lt名稱& gtDFS . NameNode . name . dir & lt;/name & gt;& lt值& gtfile:/home/Hadoop/Hadoop/tmp/DFS/name & lt;/value & gt;& lt/property & gt;& lt屬性& gt& lt名稱& gtDFS . datanode . data . dir & lt;/name & gt;& lt值& gtfile:/home/Hadoop/Hadoop/tmp/DFS/data & lt;/value & gt;& lt/property & gt;& lt/configuration & gt;
配置完成後運行hadoop。
第四步:運行hadoop
4.1?初始化HDFS系統
執行hadop2.7.1目錄下的命令:
bin/hdfs命名節點格式
以下結果表明初始化是成功的。
4.2?開放?NameNode?然後呢。DataNode?守護進程
執行hadop2.7.1目錄下的命令:
sbin/start-dfs.sh
成功截圖如下:
4.3使用jps命令查看流程信息:
如果出現如圖所示的結果,說明DataNode和NameNode都已經打開。
4.4查看網絡界面
在瀏覽器中輸入?http://localhost:50070?,可以查看相關信息,截圖如下
至此,hadoop環境已經搭建完成。
5.運行wordcount演示。
1.?本地新建壹個文件,內容隨便填:比如我在home/hadoop目錄下新建了壹個haha.txt文件,內容是“hello world!”。
2.然後在分布式文件系統(hdfs)中新建壹個測試文件夾,上傳我們的測試文件haha.txt,在hadoop-2.7.1目錄下運行命令:
#在hdfs的根目錄下建立了壹個測試目錄。
bin/hdfs dfs -mkdir /test
#查看HDFS根目錄下的目錄結構
bin/hdfs dfs -ls /
結果如下:
3.?將本地haha.txt文件上傳到測試目錄;
#上傳
bin/hdfsdfs-put/home/Hadoop/haha . txt/test/# View
bin/HDFS DFS-ls/測試/
結果如下:
4.運行Word Countdemo
#將運行結果保存在/test/out目錄中
bin/Hadoop jar share/Hadoop/MapReduce/Hadoop-MapReduce-examples-2 . 7 . 1 . jar word count/test/haha . txt/test/out
#查看/test/out目錄中的文件
bin/HDFS DFS-ls/測試/輸出
結果如下:
運行結果表明運行成功,結果保存在part-r-00000中。
5.檢查運行結果;
#查看部分r-00000中的運行結果
bin/Hadoop fs-cat/test/out/part-r-00000
結果如下:
至此,wordcount演示完畢。
不及物動詞摘要
配置過程中遇到很多問題,最後都壹壹解決,收獲頗豐。特此分享壹下這個配置的經驗,方便想配置hadoop環境的朋友~
(Hadoop集群的安裝配置過程和單機版基本相同,主要是配置文件方面,ssh無鑰匙登錄要求主從可以互相登錄。