當前位置:編程學習大全網 - 編程軟體 - Impala的SYNC_DDL

Impala的SYNC_DDL

那天去面試,面試官問我知不知道Impala同步數據的方式,我回答invalidate metadata和refresh table [partition],後來他問我還有沒有其他的方式,當時我沒想到別的,因為工作中用到impala都是和hive結合的,spark把數據落到hive中,然後刷新impala,impala提供查詢。

後來他提了下問我是否知道Impala的SYNC_DDL。說實話這個我也是第壹次聽過,後來去官網查了下用法,發現這個impala自己運行DDL時候同步用的,挺好的,又長知識了。

這個命令是為了解決這個問題的。在某個節點的impala-shell運行DDL語句,可能會出現其他節點查看不到的情況,因為impala的所有元數據都是用catalogd來管理的。壹個impalad進行DDL操作會發送到catalogd,由catalogd在廣播給其他的impalad服務,這時候可能會出現延遲,導致有的impalad查詢不到發生的DDL。SYNC_DDL就是解決這個問題的。

官網的描述如下

  • 上一篇:繪畫用筆記本電腦
  • 下一篇:51單片機8個流水燈,壹個按鍵從左到右,壹個按鍵從右到左,用匯編語言
  • copyright 2024編程學習大全網