大数据建模的九大形式，你知道吗？

数据挖掘是利用业务知识从数据中发现和解释知识的过程，这种知识是以自然或者人工形式创造的新知识。

第一，目标律：业务目标是所有数据解决方案的源头。

它定义了数据挖掘的主题：数据挖掘关注解决业务业问题和实现业务目标。数据挖掘主要不是一种技术，而是一个过程，业务目标是它的的核心。 没有业务目标，没有数据挖掘。因此这个准则也可以说成：数据挖掘是业务过程。

第二，知识律：业务知识是数据挖掘过程每一步的核心。

这里定义了数据挖掘过程的一个关键特征。

为了方便理解，我使用CRISP-DM阶段来说明：

商业理解必须基于业务知识，所以数据挖掘目标必须是业务目标的映射;

数据理解使用业务知识理解与业务问题相关的数据，以及它们是如何相关的;

数据预处理就是利用业务知识来塑造数据，使得业务问题可以被提出和解答;

建模是使用数据挖掘算法创建预测模型，同时解释模型和业务目标的特点，也就是说理解它们之间的业务相关性;

评估是模型对理解业务的影响;

实施是将数据挖掘结果作用于业务过程;

数据仅能表示现实的一 部分;数据和现实世界是有差距的。在数据挖掘中，业务知识来弥补这一差距，在数据中无论发现什么，只有使用业务知识解释才能显示其重要性，数据中的任何遗漏必须通过业务知识弥补。

第三，准备律：数据预处理比数据挖掘其他任何一个过程都重要。

数据挖掘项目中最费力的事是数据获取和预处理。

非正式估计，其占用项目的时间为50%-80%。经常采用自动化减轻这个“问题”的数据获取、数据清理、数据转换等数据预处理各部分的工作量。

数据预处理的目的是把数据挖掘问题转化为格式化的数据，使得分析技术(如数据挖掘算法)更容易利用它。数据任何形式的变化(包括清理、最大最小值转换、增长 等)意味着问题空间的变化，因此这种分析必须是探索性的。 

第一种方法是将数据转化为可以分析的完全格式化的数据，比如，大多数数据挖掘算法需要单一表格形式的数据，一个记录就是一个样例。数据挖掘者都知道 什么样的算法需要什么样的数据形式，因此可以将数据转化为一个合适的格式。

第二种方法是使得数据能够含有业务问题的更多的信息，例如，某些领域的一些数据 挖掘问题，数据挖掘者可以通过业务知识和数据知识知道这些。 通过这些领域的知识，数据挖掘者通过操纵问题空间可能更容易找到一个合适的技术解决方案。

虽然经过数据获取、清理、融合等方式创建一个数据仓库，但是数据预处理仍然是必不可少的，仍然占有数据挖掘过程一 半以上的工作量。

第四，试验律(NFL律：No Free Lunch)：对于数据挖掘者来说，天下没有免费的午餐，一个正确的模型只有通过试验(experiment)才能被发现。

机器学习有一个原则：

如果我们充分了解一个问题空间(problem space)，我们可以选择或设计一个找到最优方案的最有效的算法。一个卓越算法的参数依赖于数据挖掘问题空间一组特定的属性集，这些属性可以通过分析发 现或者算法创建。但是，这种观点来自于一个错误的思想，在数据挖掘过程中数据挖掘者将问题公式化，然后利用算法找到解决方法。事实上，数据挖掘者将问题公式化和寻找解决方法是同时进行的—–算法仅仅是帮助数据挖掘者的一个工具。

有五种因素说明试验对于寻找数据挖掘解决方案是必要的：

　　· 数据挖掘项目的业务目标定义了兴趣范围(定义域);

　　· 与业务目标相关的数据及其相应的数据挖掘目标是在这个定义域上的数据挖掘过程产生的;

　　· 这些过程受规则限制，而这些过程产生的数据反映了这些规则;

　　· 在这些过程中，数据挖掘的目的是通过模式发现技术(数据挖掘算法)和可以解释这个算法结果的业务知识相结合的方法来揭示这个定义域上的规则;

　　· 数据挖掘需要在这个域上生成相关数据，这些数据含有的模式不可避免地受到这些规则的限制。

九大形式今天就先聊四种，剩下的下次再聊。

如果还有更多想要了解的，可咨询462403503详细了解。