當前位置:編程學習大全網 - 網站源碼 - Spark2x on yarn日誌配置詳解

Spark2x on yarn日誌配置詳解

Spark on Yarn的日誌配置分為兩類:

接下為大家逐壹介紹。

在client模式下,Spark分為三部分,分別是

driver,application master以及executor,這種模式通常使用在測試環境中。

基於以上的講解,來看壹下其日誌的配置:

在cluster模式下,Spark分為兩部分,分別是

driver和executor,通常應用在生產環境。

基於以上的講解,來看壹下其日誌的配置:

在client模式下,driver日誌配置模板為:

這裏使用控制臺輸出可以在driver更加方便的查看日誌。

其它日誌配置

這裏建議使用appender,從而防止日誌過大把磁盤撐爆。

  • 上一篇:PHP程序員要掌握的知識以及相關書籍
  • 下一篇:Cameng源代碼供應
  • copyright 2024編程學習大全網