BI-商务智能(三个层次、三个种类、三种递进关系)
BI(Business Intelligence)即商务智能,它是一套完整的解决方案,用来将企业中现有的数据进行有效的整合,快速准确的提供报表并提出决策依据,帮助企业做出明智的业务经营决策。数据包括来自企业业务系统的订单、库存、交易账目、客户和供应商等各种数据。需要利用数据仓库、联机分析处理(OLAP)工具和数据挖掘等技术。商业智能本身是一个涵盖性术语,包括应用、架构和工具,以及获取和分析信息以提升和优化决策与性能。但随着数据的激增以及业务的环境变换,传统的BI已经无法满足企业的增长需求,越来越多的企业BI平台需要加入数据分析能力。
什么是AI?
人工智能(Artificial Intelligence) ,英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
典型应用如无人驾驶汽车、自动的语言识别和产生、发现概念和提取摘要(对检测潜在风险并协助人类快速理解海量且实时变化的信息非常有用)。
AI和BI的最大区别在于AI能通过学习得出自己的结论,而BI则是呈现数据统计结果为人类得出结论提供支持。
在企业中通常会充斥着各式各样的数据,这些数据包括来自客户、企业内部、合作伙伴、竞争对手。通常,我们在工作中无法利用到这些大量数据,也不能将其转换为易于操作的信息来为团队带来收益的增长和运营效率的提升。
商业智能(BI)工具的出现就是为了解决这类问题,它可以帮助企业把杂乱的数据转换成对团队组织有帮助的信息。
商业智能BI的三个层次--数据报表、数据分析、数据挖掘
数据报表:
image.png
经过几年的积累,大部分中大型的企事业单位已经建立了比较完善的CRM、ERP、OA等基础信息化系统。这些系统的统一特点都是:通过业务人员或者用户的操作,最终对数据库进行增加、修改、删除等操作。
上述系统可统一称为OLTP(Online Transaction Process,在线事务处理),指的就是系统运行了一段时间以后,必然帮助企事业单位收集大量的历史数据。但是,在数据库中分散、独立存在的大量数据对于业务人员来说,只是一些无法看懂的天书。业务人员所需要的是信息,是他们能够看懂、理解并从中受益的抽象信息。此时,如何把数据转化为信息,使得业务人员(包括管理者)能够充分掌握、利用这些信息,并且辅助决策,就是商业智能主要解决的问题。
如何把数据库中存在的数据转变为业务人员需要的信息?大部分的答案是报表系统。简单说,报表系统已经可以称作是BI了,它是BI的低端实现。 现在的企业,大部分已经进入了中端BI,叫做数据分析。有一些企业已经开始进入高端BI,叫做数据挖掘。而我国的企业,目前大部分还停留在报表阶段。
传统的报表系统技术上已经相当成熟,大家熟悉的Excel、水晶报表、Reporting Service等都已经被广泛使用。但是,随着数据的增多,需求的提高,传统报表系统面临的挑战也越来越多。
- 数据太多,信息太少
密密麻麻的表格堆砌了大量数据,到底有多少业务人员仔细看每一个数据?到底这些数据代表了什么信息、什么趋势?级别越高的领导,越需要简明的信息。如果我是老板,我可能只需要一句话:目前我们的情况是好、是中还是差? - 难以交互分析、了解各种组合
定制好的报表过于死板。例如,我们可以在一张表中列出不同地区、不同产品的销量,另一张表中列出不同地区、不同年龄段顾客的销量。但是,这两张表无法回答诸如“华北地区中青年顾客购买数码相机类型产品的情况”等问题。业务问题经常需要多个角度的交互分析。 - 难以挖掘出潜在的规则
报表系统列出的往往是表面上的数据信息,但是海量数据深处潜在含有哪些规则呢?什么客户对我们价值最大,产品之间相互关联的程度如何?越是深层的规则,对于决策支持的价值越大,但是,也越难挖掘出来。 - 难以追溯历史,数据形成孤岛
业务系统很多,数据存在于不同地方。太旧的数据(例如一年前的数据)往往被业务系统备份出去,导致宏观分析、长期历史分析难度很大。 因此,随着时代的发展,传统报表系统已经不能满足日益增长的业务需求了,企业期待着新的技术。
数据分析、数据挖掘:
image.png image.png数据分析和数据挖掘的时代正在来临。值得注意的是,数据分析和数据挖掘系统的目的是带给我们更多的决策支持价值,并不是取代数据报表。报表系统依然有其不可取代的优势,并且将会长期与数据分析、挖掘系统一起并存下去。
数据挖掘看穿你的需求
广义上说,任何从数据库中挖掘信息的过程都叫做数据挖掘。从这点看来,数据挖掘就是BI。数据挖掘往往针对特定的数据、特定的问题,选择一种或者多种挖掘算法,找到数据下面隐藏的规律,这些规律往往被用来预测、支持决策。
BI分析工具的种类
BI分析工具可以分成三大类,每一种都有其特定的BI风格和功能
一、报表。这种类型主要是传统的BI风格,业务人员已经用了很多年了,他们用这种工具针对特定数据反复进行分析。例如:某老板需要检查单品销量;营销经理需要比较各种营销活动的效果。(以上已改)
前几年,利用这类工具只能做一些静态预先设定好的静态报表,但是现在企业用户可以利用各种类型工具增删改查、比较、可视化的分析数据。这类BI工具的基本是数据集和记录方式是提前定义好的,但是在执行分析的时候会随着使用者的即时需求而变化。
这一类型的BI工具包括:
报表
仪表盘和记分卡
公司绩效管理
电子表格
二、自服务BI和分析。这类型工具支持业务执行临时查询分析数据。这种分析可能只是一次性的,也可能分享给其他人反复执行。
这些工具的使用者有两种角色:信息消费者和分析设计者,他们共享共同发布用自服务BI创建的应用。
引导查询工具主要是针对预定义数据集和度量方式,而自服务BI工具支持商业用户添加数据并在执行他们的分析师定义新的度量方式,无需IT技术人员参与。
其次,数据源需要能被BI工具识别和使用。尽管大多数数据源可以很容易被BI工具访问,但也有很多具体的数据源是不能访问的。第三,数据源必须能被业务人员理解,这通常需要业务人员经常与IT人员一起工作,理解待分析数据表结构和定义。最后,不管BI工具号称的有多简单,实际上都需要IT人员帮助培训和支持才能有效使用,才能真正提高业务人员的工作效率,提高这些工具的投资回报率。
三、Ad hoc(即席查询)报表和分析; 在线分析处理(也成为OLAP立方体)
即席查询(Ad Hoc)是用户根据自己的需求,灵活的选择查询条件,系统能够根据用户的选择生成相应的统计报表。即席查询与普通应用查询最大的不同是普通的应用查询是定制开发的,而即席查询是由用户自定义查询条件的。
OLAP的优势
首先必须说的是,OLAP的优势是基于数据仓库面向主题、集成的、保留历史及不可变更的数据存储,以及多维模型多视角多层次的数据组织形式,如果脱离的这两点,OLAP将不复存在,也就没有优势可言。
数据展现方式
基于多维模型的数据组织让数据的展示更加直观,它就像是我们平常看待各种事物的方式,可以从多个角度多个层面去发现事物的不同特性,而OLAP正是将这种寻常的思维模型应用到了数据分析上。
查询效率
多维模型的建立是基于对OLAP操作的优化基础上的,比如基于各个维的索引、对于一些常用查询所建的视图等,这些优化使得对百万千万甚至上亿数量级的运算变得得心应手。
分析的灵活性
我们知道多维数据模型可以从不同的角度和层面来观察数据,同时可以用上面介绍的各类OLAP操作对数据进行聚合、细分和选取,这样提高了分析的灵活性,可以从不同角度不同层面对数据进行细分和汇总,满足不同分析的需求。 是不是觉得其实OLAP并没有想象中的那么复杂,一旦多维数据模型建成后,在上面做OLAP其实是一件很cool的事情。
比如:数据挖掘、数据可视化 、高级的数据分析
一个简单的关系:数据-->信息-->价值
BI就是通过处理数据帮助用户获取收益的过程。我们提供的是一种服务而多于提供产品。传统的企业通过报表平台(主要是报表,图表)获取企业的运营状况信息,而放在当前的大数据环境下,显然是不够的。
如果还是以传统的思想去处理数据,虽然暂时能满足企业的需求但最终会落后于时代。
BI让企业所有员工都能查看和分析自己的数据,以更好的提高业务能力和发现问题。
比如一线员工关注的每天的具体数据;中层,管理层关心的自己部门的KPI指标,运营情况; 决策层则需要有俯瞰整个企业的视角和掌握企业脉动的能力。他们更关心的整个企业运行的关键指标。
相比传统报表平台,BI有着更丰富更易实现的功能
image.png从企业信息架构上来说
image.png综上所述,BI就是一种能让企业更好驾驭数据的服务
经典的BI架构
举例:
20170105091524916.png
这是做好的一个例子,右边可以设定按照哪些字段进行筛选
20170105094142801.png
点击图形上的一个区域,会自动进行数据筛选,将选择块作为其他图形的筛选条件,方便用户查询使用。
20170105094151145.png
最后:
自建BI:周期长,使用门槛高,需要专业的人员支持,但可以处理大量数据,对于数据量庞大的企业来说,是比较合适的,但不太适合中小型企业。
为了一套系统,还得配备专业人员,需求提出来还得等实现,并不能做到随时随地随用,满足对市场快速反应的要求。
第三方平台:云端系统,使用门槛比较低,但对数据量有些限制,适合中小型企业,数据量不是那么大的,具体问到多大,像数据观可以满足PB级别的数据需求,相当于1,048,576 GB。
用SaaS的好处是不用专业IT人员也行,业务人员可以根据实际业务情况进行数据分析,其实最了解业务的还是业务人员本身,脱离了业务的数据分析都是耍流氓。
传统的BI工具和分析架构依然处于描述阶段,而且目前的BI只能帮助用户解决两个问题“正在发生什么?”和“发生过什么?”,但未来BI需要能够回答“将要发生什么?”因此,预测,指导和认知性的运算就是必须的。随着人工智能技术的发展,这三种技术正在逐渐加强,他们可以将日常工作进行完全自动化,并通过不间断的重复性任务对未来的发展方向进行准确的预测。 通过这些先进的分析方式,人们不仅可以将数据进行更快更准确的分析,也可以将决策交给机器学习来降低人为错误从而提升公司的利润。同时,机器学习可以发现人们目前无法看到的潜在新机会和模式。