當前位置:編程學習大全網 - 源碼下載 - 如何運行Spark程序

如何運行Spark程序

 本文前提是已經正確安裝好scala,sbt以及spark了 簡述將程序掛載到集群上運行的步驟:

1、構建sbt標準的項目工程結構:SBT項目工程結構圖其中:~/build.sbt文件用來配置項目的基本信息(項目名、組織名、項目版本、使用的scala版本或者再次配置些項目所需的依賴包);project/build.properties文件配置妳要使用什麽版本的sbt對項目操作;project/plugins.sbt文件是給項目添加所需的插件;project/Build.scala文件是對項目進行些復雜的高級配置;詳細的sbt安裝配置實用參見博文:

2、到相應目錄下編寫程序,spark程序必須要創建壹個SparkContext實例。SparkContext("master", "projectName", "SPARK_HOME", "yourProject.jar path")

3、sbt compile命令編譯程序無錯後,sbt package命令將程序打包。默認打包的jar文件存放路徑為:項目根目錄/target/scala-xx.xx.xx/your-project-name_xx.xx.xx-xx.jar

4、將打包好的jar問價添加到SPAK_CLASSPATH中(在linux中根據作用範圍的不同有多種更改環境變量的方式,這裏只說我的配置方式:spark根目錄下的conf/spark-env.sh文件添加SPARK_CLASSPATH:xxxxxxxx)

5、配置好環境變量後就可以在spark的根目錄下使用./run腳本運行妳的程序了例如:./run spark.examples.SparkPi spark://masterIP:port註意,如果程序涉及IO操作起默認路徑為SPARK_HOME;至於如何修改這個路徑,有待研究

轉載,僅供參考。

  • 上一篇:商品管理系統源代碼
  • 下一篇:哪個閱讀軟件比較好?
  • copyright 2024編程學習大全網