报表系统改造思路
2020-05-07 本文已影响0人
CoryLiu
一个企业ERP运行久了,一定会积累大量数据。如果报表系统直接从ERP DB获取数据,报表势必越来越慢。
我们可以参考大数据分析的思路,按照导出、转换、装载、分析、计算、展示的流程,将报表系统做一次彻底改造。
导出
首先,先将区分为交易数据,和主档数据两类。
交易数据,是记录历史发生情况的,发生就发生了,将不再变化。这类数据不断增加,但不会修改。
主档数据,则是记录某一个主体的实时状态信息,这个信息可能会随着时间而发生变化。
对于交易数据,我们可以直接按照时间顺序增量同步。对于主档数据,则需要做一定改造,将主档数据中增加时间维度,在每一次发生变更的时间点,都对数据做一个快照,记录当时完整的数据情况。
转换
数据导出后,为了方便互相关联,可以对数据做一定转换,同样的数据内容,在不同的地方保持相同数据类型。比如销售订单编号,统一转换为文字类型,订单日期,统一转换为日期类型。
装载
转换后,数据装载到报表分析数据库中,与原ERP DB分离,以降低原ERP DB负载。
分析
根据公司KPI指标,及业务单位管理需求,重新整理出各单位所需报表。并分析各报表的属性、维度、计算字段的数据来源及计算逻辑。
计算
对于非实时要求的报表,可以定期按维度对计算字段做计算,以加快后续展示的速度。
展示
前端展示,可以预先制作一些标准报表,同时提供工具给用户自己调整,比如在报表中调整维度,增减属性。
这样改造后,报表系统性能将大幅提升,同时也降低了报表复杂性。方便日后报表逻辑修改及错误排查。