hive查询大数据量得到结果不同

2018-10-09  本文已影响187人  analanxingde

记录一个小操作的bug:
诡异的case:在执行一个select语句后,不同时间得到的查询结果数据量不同
原因:

执行状态
此时,只是sql查询结束,而对于其结果需要写入3.546G的数据,写入数据尚未结束,sql没有完全执行结束。误以为是执行完毕,ctrl+z杀死了进程,导致结果不完整,两次运行时杀死进程的时间不一致,结果数量就有了偏差。
运行结束
此状态出现,且下一行回到到shell环境中,查询结果才写完,此时才是完整的一次sql执行。
上一篇下一篇

猜你喜欢

热点阅读