数据分析自动化，简道云数据工厂系列——前言篇
简道云的众多功能中有一个功能很少被大家关注、提及、使用，仿佛是躺在大宝藏库里的众多宝物中的一个被忽视的存在。但是它却是简道云在其他功能完成基础的数据收集、数据处理之后，想要挖掘数据价值必不可少的一环！
它就是2018年更新的数据工厂！
在讲数据工厂之前，先用一个片段来聊聊企业的数据应用。
有数据应用的企业才有未来
统计学界有一句名言：“除了上帝，任何人都必须用数据来说话。”
如今在商业、经济、社会生活、犯罪学和科研各领域，决策行为都将通过（大）数据分析而得出，不再是过去笼统的经验之谈。
在互联网圈里，流传一句话：“数据驱动决策”，这个思维被很多企业家深深认同。企业管理者对决策的准确性、可靠性、稳定性要求较高，这三个要素也是决定决策是否能够成功实施的标准。以往企业管理者在做决策的时候，通常依靠管理者的个人经验和魄力，没有任何科学依据，这种决策方式很容易使企业陷入风险之中。
在2017世界物联网开幕会上，阿里巴巴集团总裁马云先生做了长篇演讲。他在会上提到了这么一句话：“数据将成为社会发展最重要的生产资料，计算能力将成为一种强大的生产力。”
对于企业而言，没有数据的未来是万万不能的。
但尽管数据在很多地方得到了应用，还是有很多企业不理解数据，不去进行数据积累，不知道哪些数据有价值，甚至认为数据只是互联网、金融、政府等大公司、大部门才能玩耍的“贵族玩具”。
也许大数据的应用有较高门槛，但是数据的使用却是毫无门槛可言的。每个企业都有大量的数据每天在产生、交互、传递、处理、分析，所以每一个企业都有数据应用的潜能可供发挥挖掘！
随着数字化的深入，企业的各项业务在不断转换成可存储、处理、分析、使用的数据。以前纷繁复杂的业务实景，也逐渐用数据模型、分析报表来可视化展示，让业务的变化在管理层面前更加清晰、直观、低延时。
企业的数据可用程度如何，还需看一下三点：
第一，数据是否在线，大量数据不在线，就没有利用的基础。王坚博士在《在线》中提到，离线的数据难以产生最大化的经济价值，但在线的可以。
第二，数据是否链接，大量数据都是独立分布在不同系统，没有进行数据的打通，那么数据就缺乏有效利用的支撑。
第三，数据是否结构化，一堆粗糙、没有没有经过有效的抽取和挖掘的数据，就缺乏有效利用的手段。
在简道云的世界里，表单实现了数据的在线，而数据工厂就是来实现数据链接、数据抽取和挖掘的，数据工厂处理好的数据再给仪表盘去进行可视化展现，最终供给管理层、业务人员等进行业务分析。
数据工厂是什么？
官方：数据工厂也叫ETL，是Extract（抽取）-Transform（转换）-Load（加载）的缩写，他是将数据库中的数据经过以上三步处理后，最终输出到目标仓库的过程。目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。
ETL是建设数据仓库（面向主题的、集成的、相对稳定的、反映历史变化的数据集合）的非常重要的一环。而数据仓库是商业智能（BI）系统的一部分。
数据工厂是集成的，它就仿佛是一个数据加工厂一样，将所需数据从本应用或者跨应用的表单收集到的原始数据中抽取出来，做进一步的加工处理，得到可分析、展示的汇总合并的结果数据。
数据工厂产生背景及相关概念
A.背景
大量原来线下的业务电子化之后，产生了很多的数据，这些数据除了能够支撑业务正常运转，也能够使分析人员针对整个企业的运转情况进行分析。比如，本周与上周相比销量增加还是减少了？原因是什么？ 产品的库存周期长了还是短了？哪些产品需要及时补充库存？哪些供应商提供的商品，成本低、质量好、及时供货、客户比较喜欢？哪些地方的支出变多了？用户对我的产品满意吗？客户发生了哪些变化？需要招人吗？招什么样的人？ 上面这些问题分别涉及销售、库存、采购、会计、客户、HR等各个层面。
B.业务型系统与分析型系统的区别 OLTP VS OLAP
OLTP：代表具体的操作，是对原来线下操作的模拟。在简道云世界里就是表单的数据协作。
OLAP：关注整体的分析和决策。BI之前叫作决策支撑系统。在简道云世界里就是数据工厂+仪表盘组合。
OLAP关注分析，需要更宏观的数据视野（大量的细节会使人看不清楚），需要做跨系统的数据整合。业务型的数据专注于具体的操作，不适合做分析。数据仓库的核心是把所有系统的数据进行集成，保证数据的一致性，并且要能反映出业务系统的变化（支持敏捷开发，增量开发）。这是一个艰巨的任务，比如同一个东西一个表叫id，一个表叫seq，业务里存1行，仓库里可能需要2行。
数据工厂有什么作用
数据工厂由数据流和输出表构成。数据流用于对数据源进行加工处理；输出表对加工后的数据进行输出储存，通过仪表盘进行统计分析，最终作为企业的决策依据。
数据整合：可以将企业中分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。
数据清洗：可以将原始数据中无效、错误、重复的数据清洗掉，保留有效数据以供后续的数据整合、模型设计使用。（这方面数据工厂做的还比较弱）
分析模型：可以解决更复杂的计算模型。比如简道云目前还未更新的同比、环比分析；复杂提成计算；销售数据分析；产品数据分析；财务数据分析；人事数据分析等等。
有了数据工厂，简道云的数据才能实现价值深挖和变现。
这是本人数据工厂系列的第一篇，后面还将分4篇左右，给大家讲解下数据工厂的具体使用。
下面这是目前的规划：
有了简道云，数据分析全自动！
历史文章：
浅谈简道云数据分析模型设计
你确定你会用excel吗？——条件格式帮你装X
excel函数查找三剑客之Vlookup
请个假还需追着领导屁股后面等签字？没有的事！！！
Excel查找三剑客之二——index+match
Excel 操作猛如虎 之 快捷键
拖拖拽拽，设计个图书借阅管理系统
想要了解更多功能交流学习、需要咨询简道云设计，或者需要定制属于你寄几的数据管理系统的，请扫码关注公众号或者加我好友
本公众号旨在分享推荐数据分析处理的软件、知识、案例，和企业信息化应用的saas软件及使用方法和应用案例，以及其他提升工作效率的小应用、软件、方法！
