朴素贝叶斯（Naive Bayes）算法

朴素贝叶斯算法属于分类算法。发源于古典数学理论，对缺失数据不太敏感，有稳定的分类效率，模型所需估计的参数很少，算法比较简单。

朴素贝叶斯算法，贝叶斯是说明这个算法和贝叶斯定理有联系，而朴素是因为处理实际的需要，做了一个简化——假设每个特征之间是独立的（如果研究的对象互相之间的影响很强，计算概率时考虑的问题非常复杂，做了独立假设，就可以分解后进行研究），这是这个算法模型与贝叶斯定理的区别。

image.png

将 x 作为特征，y 作为类别，那公式左边的 P（yi|x）就是说在知道特征 x 的情况下，计算这个特征属于 yi 类的可能性大小。通过比较找出这个可能性的值最大的属于哪一类，就将特征 x 归为这一类。

image.png

第3步的计算就是整个关键所在，计算依据是上面的贝叶斯公式。

对于每一个类的概率计算，公式右边的分母的 P(x)都是相同的，所以可以不计算（我们只是对最终结果进行比较，不影响）。

P（yi）也称为先验概率，是 x 属于 yi 类的一个概率，这个是通过历史信息得到的（在程序实现的时候，历史信息或者说先验信息就是我们的训练数据集），我们通过对训练样本数据进行统计，分别算出 x 属于 y1,y2,...,yn 类的概率是多少,这个是比较容易得到的。

所以，主要是求 P（x|yi）= P(a1,a2,...,am|yi)

这个时候对于贝叶斯模型的朴素的独立性假设就发挥作用了(综合的计算变成了独立计算后的综合，简化模型，极大地减少了计算的复杂程度)：

P(a1,a2,...,am|yi) = P(a1|yi)P(a2|yi)...P(am|yi)

所以计算想要得到的东西如下：

image.png

一个程序简例

'''#########################################################################################
# Name: NB-test
# Author: Wenchao Liu
# Date: 2018-12-23
# Description: To study the Naive Bayes method by using a simple example.
#                    Windows10, Python3.7
#########################################################################################'''

def dealData(D, L):
    '''将训练集中的连续数据离散化，符号数据数值化。'''
    for item in D:
        if(int(item[0]) > 0):
            item[0] = 1
        if(float(item[2]) > 0.5):
            item[2] = 1
        else:
            item[2] = 0
    #print(data)
    for i in range(len(L)):
        if(L[i] == '涨'):
            L[i] = 1
        else:
            L[i] = 0
    #print(L)
    return D, L

def splitData(D, L):
    '''将训练集中的不同类数据分开，方便统计处理。'''
    D0 = []
    D1 = []
    for i in range(len(L)):
        if(L[i] == 0):
            D0.append(D[i])
        elif(L[i] == 1):
            D1.append(D[i])
    #print(D0, D1)
    return D0, D1      

def countNumber(data, i, z):
    '''统计某个属性出现的次数。'''
    number = 0
    for item in data:
        if(item[i] == z):
            number = number + 1
    return number

def calculateProbobility(D0, D1, L, Z):
    '''对于目标对象，计算其属于各类别的概率大小。'''
    # 计算训练样本中不同类别的数量
    num_down = L.count(0)
    num_up = L.count(1)
    # 先验概率（类别分布不均衡会对概率计算造成较大影响，先不考虑）
    p0 = num_down/len(L)
    p1 = num_up/len(L)
    #print(p0, p1)
    # 存放各属性对应的概率
    p_down = []
    p_up = []
    # 拉普拉斯平滑
    delta = 1    # 取大于 0 的数，一般使用 1 
    feature_num = 2    # 某特征可以取值个数，此处为二值型特征
    for i in range(len(Z)):
        p_down.append((countNumber(D0, i, Z[i])+delta)/(len(D0)+ feature_num*delta))
        p_up.append((countNumber(D1, i, Z[i])+delta)/(len(D1)+ feature_num*delta))
    #print(p_down, p_up)
    pc0 = 1
    pc1 = 1
    for i in range(len(Z)):
        pc0 = pc0 * p_down[i]
        pc1 = pc1 * p_up[i]
    Pc = [pc0, pc1]
    #print(pc0,pc1)
    return Pc

def selectClass(Pc, Lc):
    '''找出对应概率最大的类别，预测目标对象为此类别。'''
    max_index = Pc.index(max(Pc))
    print('********** NB算法预测结果 **********')
    print('预测目标结果为：' + Lc[max_index])
 
def main():
    # 训练集。样本数量6；属性4：交点、前一天涨跌（0跌1涨）、振幅（%）、高低开（0低1高）
    D = [[0, 1, 1.33, 1], [7, 1, 0.55, 0], [0, 1, 1.29, 0], [0, 1, 0.75, 0], [0, 0, 0.43, 1], [0, 1, 0.52, 1],  [0, 0, 1.13, 0]]
    # 训练样本的类别标签集
    L = ['涨', '涨', '跌', '跌', '涨', '涨', '跌']
    # 测试目标(2018-12-21)
    Z = [3, 0, 1.00, 0]
    # 预测类别标签
    Lc = ['跌', '涨']
    if (Z[0] > 0):
        Z[0] = 1
    if(Z[2] > 0.5):
        Z[2] = 1
    D, L = dealData(D, L)
    D0, D1 = splitData(D, L)
    Pc = calculateProbobility(D0, D1, L, Z)
    selectClass(Pc, Lc)

if __name__ == '__main__':
    main()