机器学习中的数学

概率与统计基础

2018-09-12  本文已影响0人  水之心
概率与统计基础

在定义概率时要事先明确指出样本空间是什么。

概率与统计基础

贝叶斯公式

B_1,B_2, \cdots, B_n 是样本空间 \Omega 的一个分割, 若 P(A)>0, P(B_i)>0, i=1,2, \cdots, n, 则

P(B_i|A) = \frac{P(B_i)P(A|B_i)}{\displaystyle\sum_{j=1}^nP(B_j)P(A|B_j) }

随机变量

定义在样本空间 \Omega 上的实值函数 X=X(\omega) 称为随机变量. 若 B \subset \mathbb{R}, 则 \{X \in B\} 表示如下的随机事件

\{\omega: X(\omega) \in B\} \subset \Omega

或者可以将随机事件表示为诸如 \{X\leq 7\} 形式.

分布函数

X 是随机变量, 对任意实数 x, 称

F(x) = P(X\leq x)

为随机变量 X分布函数, 且称 X 服从 F(x), 记作 X \sim F(x), 或 F_X(x)

概率分布列

X 是一个离散随机变量, 若 X 的所有可能取值是 x_1,x_2, \cdots, x_n, \cdots, 则称 Xx_i 的概率

p_i = p(x_i) = p(X = x_i)

X概率分布列或简称分布列, 记作 X \sim \{p_i\}, 或

\begin{array}{c|lcr} X & x_1&x_2 & \cdots & x_n & \cdots \\ \hline P& p(x_1)& p(x_2) & \cdots & p(x_n) & \cdots \end{array}

P(X) = \begin{pmatrix} x_1&x_2 & \cdots & x_n & \cdots \\ p(x_1)& p(x_2) & \cdots & p(x_n) & \cdots \end{pmatrix}

通常使用符号 P(X|Y) 表示条件概率分布的集合, 即

P(X|Y) = \begin{pmatrix} p(x_1|y_1) & p(x_2|y_1) & \cdots & p(x_n|y_1) & \cdots \\ p(x_1|y_2) & p(x_2|y_2) & \cdots & p(x_n|y_2) & \cdots \\ \vdots & \vdots & \ddots & \vdots & \cdots\\ p(x_1|y_n) & p(x_2|y_n) & \cdots & p(x_n|y_n) & \cdots \\ \vdots & \vdots & \vdots & \vdots & \vdots\\ \end{pmatrix}

这样, 链式法则可以简写为

P(X_1,\cdots,X_k) = P(X_1)P(X_2|X_1)\cdots P(X_k|X_{k-1})

且有

P(X|Y) = \frac{P(X)P(Y|X)}{P(Y)}

更多见 概率图模型

随机向量

n 维随机向量 \boldsymbol{X} = (X_1,X_2, \cdots, X_n)^T, 若每个分量的均值都存在, 则称

E[\boldsymbol{X}] = (E[X_1], E[X_2], \cdots, E[X_n])^T

n 维随机向量 \boldsymbol{X} 的数学期望向量, 简称为 \boldsymbol{X}数学期望, 而称

E[(\boldsymbol{X} - E[\boldsymbol{X}]) (\boldsymbol{X} - E[\boldsymbol{X}])^T] = \begin{pmatrix} \text{Var}(X_1) & \text{Cov}(X_1, X_2) & \cdots& \text{Cov}(X_1, X_n) \\ \text{Cov}(X_2, X_1) & \text{Var}(X_2) & \cdots & \text{Cov}(X_2,X_n) \\ \vdots & \vdots & \ddots & \vdots\\ \text{Cov}(X_n, X_1) & \text{Cov}(X_2, X_n) & \cdots & \text{Var}(X_n)\\ \end{pmatrix}

为该随机向量的协方差阵, 记作 \text{Cov}(\boldsymbol{X}).

其中, \text{Cov}(X_i,X_j) = E[(X_i -E[X_i])(X_j -E[X_j] )]

上一篇 下一篇

猜你喜欢

热点阅读