當前位置:編程學習大全網 - 網站源碼 - sparksql怎麽去掉na

sparksql怎麽去掉na

答案如下:

1.sparkSQL去掉的na操作:sparkSQL去掉的na方法,返回的是壹個DataFrameFuctions對象,此類主要是對DataFrame中值為null的行的操作,只提供三個方法,drop()刪除行,fill()填充行,replace()代替行的操作。

2.使用sparkSQL去掉na的目的,就是為了解決用寫sql不能解決的或者解決起來比較困難的問題,在平時的開發過程中,我們不能為了高逼格什麽樣的sql問題都是用sparkSQL,這樣不是最高效的。

3.使用sparkSQL,主要是利用了寫代碼處理數據邏輯的靈活性,但是我們也不能完全的只使用sparkSQL提供的sql方法,這樣同樣是走向了另外壹個極端,有上面的討論可知,在使用join操作時,如果使用sparkSQL的join操作,有很多的弊端。

4.為了能結合sql語句的優越性,我們可以先把要進行鏈接的DataFrame對象,註冊成內部的壹個中間表,然後在通過寫sql語句,用SQLContext提供的sql()方法來執行我們寫的sql,這樣處理起來更加的合理而且高效。

  • 上一篇:android 源碼 編譯中choosecombo 1 1 6 3和choosecombo 1 1 7 3有何區別,四個數字分別代表什麽意思
  • 下一篇:三級目錄的maven項目如何壹次性導入eclipse,有辦法麽?
  • copyright 2024編程學習大全網