Hiveserver2阻塞原因排查
2021-11-30 本文已影响0人
后知不觉1
背景
在修改表location与默认的hdfs机器不一致导致hiveserver2阻塞
alter table asd.asd add if not exists partition (inc_day='2021-11-30') location 'hdfs://asd/apps/hive/warehouse/ods/asd/asd/2021-11-30'
排查
使用jstack排查发现如下信息、由日志输出328线程，后续执行查询会日志线程为209但不会输出sql，发现是waiting状态，看栈信息是在执行tryAcquireCompileLock方法，看到源码发现是未开启并行parseSql配置
修改
| key | value | note |
|---|---|---|
| hive.server2.compile.lock.timeout | 60s | 编译锁超时时间 |
| hive.driver.parallel.compilation | true | 是否开启并行编译sql |
