数据中台的数据清理
2022-09-25 本文已影响0人
有点胖的瘦子
本来我想是根据现在流程的模式建立数据中台,但是我发现同样的目的下也许有一个其他方案
首先在数据采集和数据清洗上,由于数据源是多种多样,现在是需要导入的大数据平台中,然后进行清洗。但是,现在的数据源很多是excel,需要先导入到Mysql中,在导入的大数据平台平台上,一方面通过开发工具支持excel解析很慢,另一方面目前也没有大数据平台,等到建立起ODS层还不知道猴年马月呢。
今天看了Tableau Prep工具,一方面支持mysql、excel、csv等各种数据源,另一方面优秀的数据清洗能力,比用开发要快很多。最终生成的数据,一方面提供Tableau Desktop 直接进行数据分析,速度更快。另一方面,也需要提供SAS进行建模,就不知道能否再导出Excel格式了
这种模式下,对于数据量比较小,效率还是可以,另一方面,使用人员也要等的软件和统计学部分。
长远看,可以通过这种模式探索,先将【数据】进行流转建立起来,后续再通过web数据中台的方式进一步进行数据集成与探索