當前位置:編程學習大全網 - 源碼下載 - Hadoop-Scala-Spark環境安裝

Hadoop-Scala-Spark環境安裝

請關註持續更新:/blogs/Zorkelvll/Articles/2018/11/02/1541172452468。

本文主要介紹大數據基礎軟件Hadoop-Scala-Spark的安裝過程,並以macOS、linux等系統環境為例進行實踐!

壹.背景

二、實踐-環境安裝(macOS)

後添加

(4)配置core-site.xmlhdfs的地址和端口:vim/usr/local/cellar/Hadoop/3 . 0 . 0/liberec/etc/Hadoop/core-site . XML = >添加配置

並創建文件夾mkdir/usr/local/cellular/Hadoop/HDFS &;mkdir/usr/local/Cellar/Hadoop/HDFS/tmp

先備份:CP/usr/local/cellar/Hadoop/3 . 0 . 0/lib exec/etc/Hadoop/map red-site . xmlmapred-site-bak . XML。

重新編輯:vim/usr/local/cellar/Hadoop/3 . 0 . 0/liberec/etc/Hadoop/map red-site . XML = >添加配置

(7)格式化hdfs文件系統格式:hdfs namenode -format。

(8)啟動和關閉hadoop服務:

/usr/local/Cellar/Hadoop/3 . 0 . 0/lib exec/start-DFS . sh = & gt;守護進程:NameNode、datanodes、輔助NameNode。在瀏覽器中訪問http://localhost:9870。請註意,端口號是9870,而不是50070。

/usr/local/Cellar/Hadoop/3 . 0 . 0/libexec/start-yarn . sh = & gt;Yarn服務進程:resourcemanager、nodemanagers,以及在瀏覽器中訪問http://localhost:8088和http://localhost:8042。

/usr/local/Cellar/Hadoop/3 . 0 . 0/libexec/stop-yarn . sh

/usr/local/Cellar/Hadoop/3 . 0 . 0/libexec/stop-DFS . sh

註意:對於brew安裝的hadoop3.0.0,需要配置的hadoop路徑在libexec下,否則start-dfs.sh命令會報錯“錯誤:無法執行hdfs-config”。

以上是mac下hadoop-scala-spark的安裝過程,昨天是mac下的第壹次練習,而且是壹次性成功= & gt希望能幫到妳,得到妳的後續關註。如有疑問或遇到坑,請在文章下方留言!!

火花開路:https://spark.apache.org/docs/latest/quick-start.html

  • 上一篇:求源代碼
  • 下一篇:LINUX+NGINX下的PHP shell_exec()函數執行linux命令 2019-08-08
  • copyright 2024編程學習大全網