當前位置:編程學習大全網 - 源碼下載 - hadoop單機模式和偽分布式模式的異同

hadoop單機模式和偽分布式模式的異同

1、運行模式不同:

單機模式是Hadoop的默認模式。這種模式在壹臺單機上運行,沒有分布式文件系統,而是直接讀寫本地操作系統的文件系統。

偽分布模式這種模式也是在壹臺單機上運行,但用不同的Java進程模仿分布式運行中的各類結點。

2、配置不同:

單機模式(standalone)首次解壓Hadoop的源碼包時,Hadoop無法了解硬件安裝環境,便保守地選擇了最小配置。在這種默認模式下所有3個XML文件均為空。當配置文件為空時,Hadoop會完全運行在本地。

偽分布模式在“單節點集群”上運行Hadoop,其中所有的守護進程都運行在同壹臺機器上。

3、節點交互不同:

單機模式因為不需要與其他節點交互,單機模式就不使用HDFS,也不加載任何Hadoop的守護進程。該模式主要用於開發調試MapReduce程序的應用邏輯。

偽分布模式在單機模式之上增加了代碼調試功能,允許妳檢查內存使用情況,HDFS輸入輸出,以及其他的守護進程交互。

擴展資料:

核心架構:

1、HDFS:

HDFS對外部客戶機而言,HDFS就像壹個傳統的分級文件系統。可以創建、刪除、移動或重命名文件,等等。存儲在 HDFS 中的文件被分成塊,然後將這些塊復制到多個計算機中(DataNode)。這與傳統的 RAID 架構大不相同。塊的大小和復制的塊數量在創建文件時由客戶機決定。

2、NameNode

NameNode 是壹個通常在 HDFS 實例中的單獨機器上運行的軟件。它負責管理文件系統名稱空間和控制外部客戶機的訪問。NameNode 決定是否將文件映射到 DataNode 上的復制塊上。

3、DataNode

DataNode 也是在 HDFS實例中的單獨機器上運行的軟件。Hadoop 集群包含壹個 NameNode 和大量 DataNode。DataNode 通常以機架的形式組織,機架通過壹個交換機將所有系統連接起來。Hadoop 的壹個假設是:機架內部節點之間的傳輸速度快於機架間節點的傳輸速度。

百度百科-Hadoop

  • 上一篇:解決Nessus掃描的20007 - SSL Version 2 and 3 Protocol Detection高危漏洞
  • 下一篇:股票分配策略源代碼
  • copyright 2024編程學習大全網