接下為大家逐壹介紹。
在client模式下,Spark分為三部分,分別是
driver,application master以及executor,這種模式通常使用在測試環境中。
基於以上的講解,來看壹下其日誌的配置:
在cluster模式下,Spark分為兩部分,分別是
driver和executor,通常應用在生產環境。
基於以上的講解,來看壹下其日誌的配置:
在client模式下,driver日誌配置模板為:
這裏使用控制臺輸出可以在driver更加方便的查看日誌。
其它日誌配置
這裏建議使用appender,從而防止日誌過大把磁盤撐爆。