當前位置:編程學習大全網 - 網站源碼 - spark用戶界面中讀取的隨機播放大小。

spark用戶界面中讀取的隨機播放大小。

大多數Spark作業的性能主要消耗在洗牌環節。

所以在Spark1和2之後的版本中,默認的ShuffleManager改為SortShuffleManager,SortShuffleManager相對於HashShuffleManager有所改進。

重點是每個任務在洗牌的時候會產生更多的臨時磁盤文件,但是最後所有的臨時文件都會合並成壹個磁盤文件,所以每個任務只有壹個磁盤文件。

下壹階段的shufflereadtask在拉自己的數據時,只需要根據索引讀取每個磁盤文件中的部分數據。

  • 上一篇:易語言動畫框自動前進旋轉!!!
  • 下一篇:php表單怎樣提交到當前頁面,並用$_POST獲取其值?
  • copyright 2024編程學習大全網