hive查询大数据量得到结果不同
2018-10-09 本文已影响187人
analanxingde
记录一个小操作的bug:
诡异的case:在执行一个select语句后,不同时间得到的查询结果数据量不同。
原因:
此时,只是sql查询结束,而对于其结果需要写入3.546G的数据,写入数据尚未结束,sql没有完全执行结束。误以为是执行完毕,ctrl+z杀死了进程,导致结果不完整,两次运行时杀死进程的时间不一致,结果数量就有了偏差。
运行结束
此状态出现,且下一行回到到shell环境中,查询结果才写完,此时才是完整的一次sql执行。