常见概率分布介绍

2019-07-11  本文已影响0人  瞎了吗

常见概率分布

Bernoulli分布

Bernoulli分布是单个二值随机变量分布, 单参数\phi​∈[0,1]控制,\phi​给出随机变量等于1的概率. 基本形式为:

image.png

其期望为：
E(x)=\sum x P(x)=0 \times q+1 \times p=p
其方差为：
\operatorname{Var}(x)=E\left[(x-E(x))^{2}\right]=\sum(x-p)^{2} P(x)=p q

Multinoulli分布也叫范畴分布, 是单个k值随机分布,经常用来表示对象分类的分布. 其中k是有限值.Multinoulli分布由向量\vec{p}\in[0,1]^{k-1}参数化,每个分量p_i表示第i个状态的概率, 且p_k=1-1^Tp​.

适用范围: 伯努利分布适合对离散型随机变量建模.

高斯分布

高斯也叫正态分布(Normal Distribution), 概率度函数如下:
N(x;\mu,\sigma^2) = \sqrt{\frac{1}{2\pi\sigma^2}}exp\left ( -\frac{1}{2\sigma^2}(x-\mu)^2 \right )
其中, \mu​和\sigma​分别是均值和方差, 中心峰值x坐标由\mu​给出, 峰的宽度受\sigma​控制, 最大点在x=\mu​处取得, 拐点为x=\mu\pm\sigma​

正态分布中，±1\sigma、±2\sigma、±3\sigma下的概率分别是68.3%、95.5%、99.73%，这3个数最好记住。

此外, 令\mu=0,\sigma=1​高斯分布即简化为标准正态分布:
N(x;\mu,\sigma^2) = \sqrt{\frac{1}{2\pi}}exp\left ( -\frac{1}{2}x^2 \right )
对概率密度函数高效求值:
N(x;\mu,\beta^{-1})=\sqrt{\frac{\beta}{2\pi}}exp\left(-\frac{1}{2}\beta(x-\mu)^2\right)

其中，\beta=\frac{1}{\sigma^2}通过参数\beta∈（0，\infty）​来控制分布精度。

何时采用正态分布

问: 何时采用正态分布?
答: 缺乏实数上分布的先验知识, 不知选择何种形式时, 默认选择正态分布总是不会错的, 理由如下:

  1. 中心极限定理告诉我们, 很多独立随机变量均近似服从正态分布, 现实中很多复杂系统都可以被建模成正态分布的噪声, 即使该系统可以被结构化分解.
  2. 正态分布是具有相同方差的所有概率分布中, 不确定性最大的分布, 换句话说, 正态分布是对模型加入先验知识最少的分布.

正态分布的推广:
正态分布可以推广到R^n空间, 此时称为多位正态分布, 其参数是一个正定对称矩阵\Sigma​:
N(x;\vec\mu,\Sigma)=\sqrt{\frac{1}{(2\pi)^ndet(\Sigma)}}exp\left(-\frac{1}{2}(\vec{x}-\vec{\mu})^T\Sigma^{-1}(\vec{x}-\vec{\mu})\right)
对多为正态分布概率密度高效求值:
N(x;\vec{\mu},\vec\beta^{-1}) = \sqrt{det(\vec\beta)}{(2\pi)^n}exp\left(-\frac{1}{2}(\vec{x}-\vec\mu)^T\beta(\vec{x}-\vec\mu)\right)
此处，\vec\beta是一个精度矩阵。

指数分布

深度学习中, 指数分布用来描述在x=0​点处取得边界点的分布, 指数分布定义如下:
p(x;\lambda)=\lambda I_{x\geq 0}exp(-\lambda{x})
指数分布用指示函数I_{x\geq 0}​来使x​取负值时的概率为零。

Laplace 分布

一个联系紧密的概率分布是 Laplace 分布（Laplace distribution），它允许我们在任意一点 \mu处设置概率质量的峰值
Laplace(x;\mu;\gamma)=\frac{1}{2\gamma}exp\left(-\frac{|x-\mu|}{\gamma}\right)

Dirac分布和经验分布

Dirac分布可保证概率分布中所有质量都集中在一个点上. Diract分布的狄拉克\delta​函数(也称为单位脉冲函数)定义如下:
p(x)=\delta(x-\mu), x\neq \mu

\int_{a}^{b}\delta(x-\mu)dx = 1, a < \mu < b

Dirac 分布经常作为 经验分布（empirical distribution）的一个组成部分出现
\hat{p}(\vec{x})=\frac{1}{m}\sum_{i=1}^{m}\delta(\vec{x}-{\vec{x}}^{(i)})
, 其中, m个点x^{1},...,x^{m}是给定的数据集, 经验分布将概率密度\frac{1}{m}​赋给了这些点.

当我们在训练集上训练模型时, 可以认为从这个训练集上得到的经验分布指明了采样来源.

适用范围: 狄拉克δ函数适合对连续型随机变量的经验分布.

期望、方差、协方差、相关系数

期望

在概率论和统计学中，数学期望（或均值，亦简称期望）是试验中每次可能结果的概率乘以其结果的总和。它反映随机变量平均取值的大小。

注意：

  • 函数的期望大于等于期望的函数（Jensen不等式），即E(f(x))\geqslant f(E(x))
  • 一般情况下，乘积的期望不等于期望的乘积。
  • 如果X和Y相互独立，则E(xy)=E(x)E(y)​。

方差

概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。方差是一种特殊的期望。定义为：

Var(x) = E((x-E(x))^2)

方差性质：

1）Var(x) = E(x^2) -E(x)^2
2）常数的方差为0;
3）方差不满足线性性质;
4）如果X和Y相互独立, Var(ax+by)=a^2Var(x)+b^2Var(y)

协方差

协方差是衡量两个变量线性相关性强度及变量尺度。 两个随机变量的协方差定义为：
Cov(x,y)=E((x-E(x))(y-E(y)))

方差是一种特殊的协方差。当X=Y时，Cov(x,y)=Var(x)=Var(y)。

协方差性质：

1）独立变量的协方差为0。
2）协方差计算公式：

Cov(\sum_{i=1}^{m}{a_ix_i}, \sum_{j=1}^{m}{b_jy_j}) = \sum_{i=1}^{m} \sum_{j=1}^{m}{a_ib_jCov(x_iy_i)}

3）特殊情况：

Cov(a+bx, c+dy) = bdCov(x, y)

相关系数

相关系数是研究变量之间线性相关程度的量。两个随机变量的相关系数定义为：
Corr(x,y) = \frac{Cov(x,y)}{\sqrt{Var(x)Var(y)}}

相关系数的性质：
1）有界性。相关系数的取值范围是 [-1,1]，可以看成无量纲的协方差。
2）值越接近1，说明两个变量正相关性（线性）越强。越接近-1，说明负相关性越强，当为0时，表示两个变量没有相关性。

上一篇下一篇

猜你喜欢

热点阅读