2019-08-08工作总结
2019-08-08 本文已影响0人
Mr钧
1. 遇到的问题:
现象: eii有6条数据符合捞数条件,但是没有被捞出来. 也没有日志, 也没有修改痕迹.
根因: partition分区异常时, 第二次跑会重新查数据, 同时,为了支持异常重跑,会记录异常点, 但是异常点的记录只记录分区和第几条异常; 当第二次异常重跑重新查数据时,如果第一次改变了状态的字段, 是partition的where条件字段, 则会导致两次partition的捞取数据量不一致, 从而导致异常点错位.
解决办法: 保证partitioner的where条件中, 没有程序会修改的字段即可 .
