當前位置:編程學習大全網 - 編程語言 - 大數據hadoop三種運行模式的區別及詳細配置說明。

大數據hadoop三種運行模式的區別及詳細配置說明。

基於Hadoop進行開發時,有時會被Hadoop的運行模式所迷惑,分不清各種運行模式的區別是很傻的,給日常開發帶來很多困惑,不同的集群配置文件也不壹樣。要了解Hadoop的運行方式,以及它在配置文件中的作用,妳必須頭腦清楚,這樣妳才能在工作中取得成功。

Hadoop的配置文件都是用XML文件配置的,它有四個最常見的配置文件,分別是:

core-site.xml文件主要用於配置公共屬性。

hdfs-site.xml文件用於配置hdfs的屬性。

Mapred-site.xml文件用於配置Mapreduce的屬性。

Yarn-site.xml文件用於配置Yarn的屬性。

壹般來說,這四個配置文件存儲在hadoop默認安裝目錄的etc/hadoop子目錄中。但是,我們也可以在搭建集群時,根據實際需要,將etc/hadoop目錄及其文件復制到另壹個位置。這樣可以把配置文件和安裝文件分開,方便管理。

註意:如果將etc/hadoop目錄及其下的文件復制到另壹個位置。

我們需要將hadoop_conf_dir設置為指向環境變量中的新目錄。

1,本地操作模式

不需要任何守護進程,所有程序都在同壹個JVM上運行執行。在本地模式下調試MR程序非常高效和方便。壹般這種模式主要用在學習或發展階段。

2.偽分布式模式

Hadoop守護進程運行在本地機器上,模擬壹個小規模集群。換句話說,可以配置壹臺機器的Hadoop集群。偽分布是完全分布的特例。

3.完全分布式模式

Hadoop守護進程在集群上運行。這種操作模式也是我們常見的幾種雲,主要用在大規模的生產環境中。

註意:以分布式模式啟動守護進程意味著在使用分布式hadoop時,必須在使用它之前啟動壹些準備過程。比如start-dfs.sh start-yarn.sh,本地模式不需要啟動這些守護進程。

註意:在本地模式下,將使用本地文件系統和本地MapReduce運行程序。在分布式模式下,HDFS和紗線守護進程將被啟動。

  • 上一篇:軟件開發好點的專科有哪些學校
  • 下一篇:英特爾顯卡技術的基本信息
  • copyright 2024編程學習大全網