當前位置:編程學習大全網 - 編程語言 - 如何學習Spark API

如何學習Spark API

API從來沒有用來學習過,就是壹本字典,查哪個都行。比如妳想做ML這壹塊,就翻翻MLlib的doc,裏面有很多例子。當妳確定妳需要什麽類的時候,檢查API。

事實上,spark的核心是RDD,只要妳知道RDD上的所有操作都將在集群上運行。其他的和正常編程沒什麽區別。至於API,如果妳真的想學,就掃壹下目錄,看看有什麽類,用起來會更深入。

如果還是不明白,可能是以下原因:

1,編程能力不足。能不能只寫例子上的程序,或者最多修改壹點?如果沒有例子,根本寫不出來?沒有想法?這是編程能力低下的表現。我知道基本的語法,spark的框架也不復雜,沒有理由寫不出東西。不壹定高端,但至少能出點東西。這只能是因為編程技術不夠。這個沒有速成的辦法,只能慢慢練。

2.scala沒有學會。當然可以用Python,Java或者r,但是我強烈推薦學習scala。如果妳真的學了Scala,spark會非常容易上手。為什麽?因為所謂的API,RDD部分基本上抄襲了scala的API。Spark的程序思路和scala壹模壹樣。不同的是,spark有壹個RDD,但RDD的方法和scala的集合結構基本相同。解決這個問題的辦法是學好scala,建議看動物書系列的scala教程。Scala是壹門復雜難學的語言,但是如果妳有很好的編程基礎,學起來也不會太難。

3,缺乏對函數式語言的理解。使用spark不壹定要懂scala、Java、Python甚至R。只是scala會更方便。那麽如果妳不了解scala,妳需要學習函數式語言的思想。為什麽這麽說?因為RDD的操作不同於命令式語言。例如,如果您有壹個列表,並且您想要向每壹行元素添加壹個列表,命令式方法是loop,函數式映射將會完成這壹任務。如果妳想在大數據領域有所作為,強烈建議妳學習函數式語言。spark和Hadoop MapReduce其實都是函數思想。

4.不知道怎麽學火花。如果妳沒有以上任何壹個問題,只是沒有找到好的星火教程,那麽我推薦妳看動物書的星火教程。動物書系列真的是碼農的福音。我現在想學什麽編程語言?首先,找動物書。

  • 上一篇:小學二年級數學有什麽趣味遊戲可以分享?
  • 下一篇:誰知道泰劇真愛無價的劇情簡介?
  • copyright 2024編程學習大全網