以WordCount為例:
包com.lxw.test
導入org.apache.spark.{SparkConf，SparkContext}
導入SparkContext。_
對象字數{
def main (args: Array[String]) {
if(args . length & lt；2) {
println("用法:字數")
System.exit(1)
}
val hdf sin = args(0)；
val hdfsOut = args(1)；
val sc = new spark context(new spark conf()。setAppName("WordCount "))
val srcData = sc.textFile(hdfsIn)
val result = srcData.flatMap(_。拆分(" \\s+")。地圖((_，1))。reduceByKey(_+_)
result.saveAsTextFile(hdfsOut)
}
}
只需在eclipse中將程序輸入到普通的Java jar包中。
在Spark的客戶機上使用Spark-submit來提交和運行jar包:
$ SPARK _ HOME/bin/SPARK-submit \-name " lxw 1234-word count " \主SPARK://192.168.1.130:7077 \-executor-memory 1G \-class com . lxw . test . word count \/HOME/lxw 1234/lxw