[監督式]貝氏分類器(Naive Bayes classifie

2019-03-29 本文已影响0人 RJ阿杰

貝氏(Byes)

機率計算可以參考統計學筆記

貝氏定理

一個隨機事件或者一個不確定事件的後驗機率是在考慮和給出相關證據或數據後所得到的條件機率。同樣，後驗機率分布是一個未知量（視為隨機變數）基於試驗和調查後得到的機率分布。

相依 (dependent) – 事件 A 的發生會受事件 B 的影響，反之亦然。
𝑷(𝑨,𝑩) = 𝑷(𝑨|𝑩)×𝑷(𝑩) = 𝑷(𝑩|𝑨)×𝑷(𝑨) = P(A∩B)
𝑷(𝑨|𝑩) = 𝑷(𝑨,𝑩)÷𝑷(𝑩) = 𝑷(𝑩|𝑨)×𝑷(𝑨)÷𝑷(𝑩)
獨立 (independent) – 事件 A 的發生與事件 B 的發生無任何關係或彼此不會互相影響。
𝑷(𝑨,𝑩) = 𝑷(𝑨)×𝑷(𝑩) = P(A∪B)
𝑷(𝑨|𝑩) = 𝑷(𝑨)
𝑷(𝑩|𝑨) = 𝑷(𝑩)
互斥 (mutually exclusive) – 若事件 A 與事件 B 不可能同時發生，則兩事件互斥。
𝑷(𝑨,𝑩) = 0 = P(A∩B) = 0 = A∩B = ∅

事件互為相依關係時依貝氏定理:

貝氏分類器

單純貝氏

wiki百科

多項式模型、伯努利模型(離散資料)

資料

多項式模型:P(便宜|垃圾郵件) = 垃圾郵件便宜詞數、所有郵件總詞數

伯努利模型:P(便宜|垃圾郵件) = 包含便宜的垃圾郵件數、所有郵件總數

計算
假設我們有一批標記好的郵件從郵件中隨機抽出一封郵件，我們用A表示此郵件為垃圾郵件事件，B表示此郵件為包含優惠這個詞事件，兩事件是相依關係。
我們統計數據了一下郵件是垃圾郵件的機率 $P(A)=0.6$ ，垃圾郵件有"優惠"這個詞的機率 $P(B|A)=0.8$ ，非垃圾郵件有"優惠"這個詞的機率 $P(B|\overline{A})=0.01$ 。

郵件包含"優惠"為垃圾郵件的機率為:
$P(A|B) = \frac{( P(B|A)*P(A) )}{( P(B|A)*P(A) +P(B|\overline{A})*P(\overline{A}) )}$
$P(A|B) = \frac{0.8*0.6}{0.8*0.6+0.01*0.4} = 0.9917 = 99\%$

缺點

單純貝氏有個假設是郵件包含某個詞的機率與郵件包另一個個詞的機率完全獨立，所以郵件包含"優惠"為垃圾郵件的機率=0.99，郵件包含"帳單"為垃圾郵件的機率=0.05，郵件包含"優惠"及"帳單"為垃圾郵件的機率 = 0.99*0.050 = 0.0495=5%
這有個明顯的問題是實上如果我們已經知道郵件中如果包含"優惠"這個字(A事件)條件下，而在郵件中看到"便宜"這個字(B事件)的機率P(B)就會比較高，所以實際上𝑷(𝑨|𝑩) ≠ 𝑷(𝑨)，𝑷(𝑩|𝑨) ≠ 𝑷(𝑩)。

實作方法

統計所有郵件、垃圾郵件、非垃圾郵件總數。
統計所有出現的詞，以及詞出現在垃圾郵件數量、詞出現在非垃圾郵件數量，我們可以用python字典key=詞，value=[垃圾郵件數量,非垃圾郵件數量]來保存統計每個詞的結果。
計算每個詞為垃圾郵件的機率 $P(A|B)$ 、與每個詞為非垃圾郵件的機率 $P(B|\overline{A})$ 。
因為假設完全獨立，最後可以依據 $P(A|B)、P(B|\overline{A})$ ，計算郵件為垃圾郵件的機率、郵件為非垃圾郵件的機率
郵件為垃圾郵件的機率 = 所有詞的 $P(A|B)$ 相乘( $\prod P(A|B)$ )
郵件為非垃圾郵件的機率 = 所有詞的 $P(B|\overline{A})$ 相乘( $\prod P(B|\overline{A})$ )
判斷垃圾郵件的機率及非垃圾郵件的機率的大小來決定郵件類別

實作會有幾個問題:

不同詞彙組合的機率相乘會造成underflow(下溢)，我們使用一個trick來避免
$p_1*p_2*p_3...*p_n(機率的相乘)=exp(log(p_1)*log(p_2)....log(p_n))$
我們在統計機率時可能會遇到某個詞只出現在非垃圾郵件，這樣 $P(B|A)$ 就會等於0，造成任何只要有這個單詞出現我們都判為非垃圾郵件(為垃圾郵件機率等於0)，我們有個比較平滑的做法:
$P(B|A)=(k+垃圾郵件中有這個單詞的郵件數量)/(2k+垃圾郵件的數量)$
$P(B|\overline{A})=(k+非垃圾郵件中有這個單詞的郵件數量)/(2k+非垃圾郵件的數量)$
郵件對於不同語言，我們需要進行不同的前處理，英文需要轉換大小寫、時態、移除停用詞，中文需要斷詞、移除停用詞。
如果詞太多我們可以忽略出現次數低於某個min_count的詞，然後預測中沒見過的詞則忽略。

高斯模型(連續資料)

有些特徵可能是連續型變量，比如說人的身高，物體的長度，這些特徵可以轉換成離散型的值，比如如果身高在160cm以下，特徵值為1；在160cm和170cm之間，特徵值為2；在170cm之上，特徵值為3。也可以這樣轉換，將身高轉換為3個特徵，分別是f1、f2、f3，如果身高是160cm以下，這三個特徵的值分別是1、0、0，若身高在170cm之上，這三個特徵的值分別是0、0、1。不過這些方式都不夠細膩，高斯模型可以解決這個問題。

實作

Naive Bayes
sklearn範例
 sklearn範例