1、由於精度不壹樣導致的
2、更多的時候確實是由於元數據混亂導致的
(就是說hive中能讀到這個字段的值,但是在spark中卻無法讀取到該字段的值。
很多時候可能還是由於大小寫的混亂所導致的)
同壹條sql,hive能生成表,而spark卻生成的壹張空表,或者數據缺少,存在null值,與hive結果不壹致
設置
spark.sql.hive.convertMetastoreOrc=false
convertMetastoreParquet=false
原因:
spark用自己的格式讀取hive文件後進行自動轉換後進行操作
官方說明