sparksql動態分區數超上限報錯

set hive.exec.dynamic.partition=true;(查看語句：set hive.exec.dynamic.partition;)

set hive.exec.dynamic.partition.mode=nonstrict;

註：該屬性默認是strict，即限制模式，避免全部分區字段都是動態的。應該必須至少壹個分區字段是指定有值即靜態的，且必須放在最前面。

設置為nonstrict之後所有的分區都可以是動態的了。

SET hive.exec.max.dynamic.partitions=500000;(如果自動分區數大於這個參數，將會報錯)

註：這個屬性表示壹個DML操作可以創建的最大動態分區數，默認是1000

SET hive.exec.max.dynamic.partitions.pernode=500000;

註：這個屬性表示每個節點生成動態分區的最大個數，默認是100

SET hive.exec.max.created.files=150000?

註：這個屬性表示壹個DML操作可以創建的最大文件數，默認是100000

上一篇:操作提醒源代碼

下一篇:網站字體源碼在哪個文件夾