當前位置:編程學習大全網 - 網站源碼 - spark與hive查詢得出的數據不同

spark與hive查詢得出的數據不同

在實際工作的情況中,經常有spark與hive查詢出來的數據存在不壹樣的情況,基本的原因如下:

1、由於精度不壹樣導致的

2、更多的時候確實是由於元數據混亂導致的

(就是說hive中能讀到這個字段的值,但是在spark中卻無法讀取到該字段的值。

很多時候可能還是由於大小寫的混亂所導致的)

同壹條sql,hive能生成表,而spark卻生成的壹張空表,或者數據缺少,存在null值,與hive結果不壹致

設置

spark.sql.hive.convertMetastoreOrc=false

convertMetastoreParquet=false

原因:

spark用自己的格式讀取hive文件後進行自動轉換後進行操作

官方說明

  • 上一篇:地鐵跑酷內置功能菜單在哪下載?
  • 下一篇:傳奇4安卓和蘋果互通嗎
  • copyright 2024編程學習大全網