當前位置:編程學習大全網 - 源碼下載 - 如何在Linux下搭建hadoop集群環境 小殘's Blog

如何在Linux下搭建hadoop集群環境 小殘's Blog

前期準備

l 兩臺linux虛擬機(本文使用redhat5,IP分別為 IP1、IP2)

l JDK環境(本文使用jdk1.6,網上很多配置方法,本文省略)

l Hadoop安裝包(本文使用Hadoop1.0.4)

搭建目標

210作為主機和節點機,211作為節點機。

搭建步驟

1修改hosts文件

在/etc/hosts中增加:

IP1 hadoop1

IP2 hadoop2

2 實現ssh無密碼登陸

2.1 主機(master)無密碼本機登陸

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

直接回車,完成後會在 ~/.ssh/ 生成兩個文件: id_dsa 和 id_dsa.pub 。

這兩個是成對出現,類似鑰匙和鎖。

再把 id_dsa.pub 追加到授權 key 裏面 ( 當前並沒有 authorized_key s文件 ) :

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

ssh localhost hostname

還是要輸入密碼,壹般這種情況都是因為目錄或文件的權限問題,看看系統日誌,確實是權限問題

.ssh下的authorized_keys權限為600,其父目錄和祖父目錄應為755

2.2 無密碼登陸節點機(slave)

slave上執行:

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

生成.ssh目錄。

將master上的authorized_keys復制到slave上:

scp authorized_keys hadoop2:~/.ssh/

實驗:在master上執行

ssh hadoop2

實現無密碼登陸。

3 配置Hadoop

3.1拷貝hadoop

將hadoop-1.0.4.tar.gz ,拷貝到usr/local 文件夾下,然後解壓。

解壓命令:

tar –zxvf hadoop-1.0.4.tar.gz

3.2查看 cat /etc/hosts

IP1 hadoop1

IP2 hadoop2

3.3 配置 conf/masters 和 conf/slaves

conf/masters:

1

IP1

conf/slaves:

1

2

IP2

IP2

3.4 配置 conf/hadoop-env.sh

加入

1

export JAVA_HOME=/home/elvis/soft/jdk1.7.0_17

3.5 配置 conf/core-site.xml

1

2

3

4

<property>

<name>fs.default.name</name>

<value>hdfs://IP1:9000</value>

</property>

3.6 配置 conf/hdfs-site.xml

加入

<property>

<name>dfs.http.address</name>

<value>IP1:50070</value>

</property>

<property>

<name>dfs.name.dir</name>

<value>/usr/local/hadoop/namenode</value>

</property>

<property>

<name>dfs.data.dir</name>

<value>/usr/local/hadoop/data</value>

</property>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

3.7 配置conf/mapred-site.xml

加入

<property>

<name>mapred.job.tracker</name>

<value>192.168.1.50:8012</value>

</property>

3.8 建立相關的目錄

1

/usr/local/hadoop/ //hadoop數據和namenode目錄

註意只創建到hadoop目錄即可,不要手動創建data和namenode目錄。

其他節點機也同樣建立該目錄。

3.9 拷貝hadoop文件到其他節點機

將hadoop文件遠程copy到其他節點(這樣前面的配置就都映射到了其他節點上),

命令:

1

scp -r hadoop-1.0.4 IP2:/usr/local/

3.10 格式化Active master

命令:

bin/hadoop namenode -format

3.11 啟動集群 ./start-all.sh

現在集群啟動起來了,看壹下,命令:

1

bin/hadoop dfsadmin -report

2個datanode,打開web看壹下

瀏覽器輸入:IP1:50070

打完收工,集群安裝完成!

  • 上一篇:“江恩八線”是哪八線?
  • 下一篇:小紅書“種草營銷”大調整,種草社區模式為何大受歡迎?
  • copyright 2024編程學習大全網