Task02-朴素贝叶斯(Naive Bayes)-基本理论(天

本笔记为参加阿里云“天池龙珠计划 机器学习训练营”所做的学习记录，代码及知识内容均来源于训练营，本人稍作扩充。
具体活动内容请移步阿里云天池龙珠计划; 同时感谢公众号“机器学习炼丹术”的介绍、推广和组织。

1. 实验室介绍

1.1 实验环境

1\. python3.7
2\. numpy >= '1.16.4'
3\. sklearn >= '0.23.1'

1.2 朴素贝叶斯的介绍

朴素贝叶斯算法（Naive Bayes, NB)是应用最为广泛的分类算法之一。它是基于贝叶斯定义和特征条件独立假设的分类器方法。由于朴素贝叶斯法基于贝叶斯公式计算得到，有着坚实的数学基础，以及稳定的分类效率。NB模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。当前的垃圾邮件分类都是基于朴素贝叶斯分类器识别的。

什么是条件概率，我们从一个摸球的例子来理解。我们有两个桶：灰色桶和绿色桶，一共有7个小球，4个蓝色3个紫色，分布如下图：

NBFig1.png

从这7个球中，随机选择1个球是紫色的概率p是多少？选择过程如下：

1. 先选择桶

2. 再从选择的桶中选择一个球

   
   NBFig2.jpg

上述我们选择小球的过程就是条件概率的过程，在选择桶的颜色的情况下是紫色的概率，另一种计算条件概率的方法是贝叶斯准则。

贝叶斯公式是英国数学家提出的一个数据公式:

NBFig3.jpg

p(A,B)：表示事件A和事件B同时发生的概率。

p(B)：表示事件B发生的概率；叫做先验概率；
p(A)：表示事件A发生的概率。

p(A|B)：表示当事件B发生的条件下，事件A发生的概率；叫做后验概率。
p(B|A)：表示当事件A发生的条件下，事件B发生的概率。

我们用一句话理解贝叶斯：世间很多事都存在某种联系，假设事件A和事件B。注：原文如此人们常常使用已经发生的某个事件去推断我们想要知道的之间的概率。 例如，医生在确诊的时候，会根据病人的舌苔、心跳等来判断病人得了什么病。对病人来说，只会关注得了什么病，医生会通过已经发生的事件来确诊具体的病情。这里就用到了贝叶斯思想，A是已经发生的病人症状，在A发生的条件下是B_i的概率。

1.3 朴素贝叶斯的应用

朴素贝叶斯算法假设所有特征的出现相互独立互不影响，每一特征同等重要，又因为其简单，而且一般具有很好的可解释性。相对于其他精心设计的更复杂的分类算法，朴素贝叶斯分类算法是学习效率和分类效果较好的分类器之一。
朴素贝叶斯算法一般应用在文本分类，垃圾邮件的分类，信用评估，钓鱼网站检测等。

2. 实验室手册

2.1 学习目标

1. 掌握贝叶斯公式
2. 结合两个实例了解朴素贝叶斯的参数估计
3. 掌握贝叶斯估计

2.2 代码流程

• Part 1. 莺尾花数据集--贝叶斯分类

  • Step1: 库函数导入
  • Step2: 数据导入&分析
  • Step3: 模型训练
  • Step4: 模型预测
  • Step5: 原理简析

• Part 2. 模拟离散数据集--贝叶斯分类

  • Step1: 库函数导入
  • Step2: 数据导入&分析
  • Step3: 模型训练&可视化
  • Step4: 原理简析

参考资料：

B站的这个视频有助于理解朴素贝叶斯的内涵和应用场景：使用贝叶斯公式的正确姿势(up主: 小渊xyz)