深度学习

2020 无人驾驶(4)

2020-09-05  本文已影响0人  zidea
self_drive.jpeg

极大似然估计

简单说一下似然估计,这个在机器学习中也是一个重要理论。其实也可以这样理解,我们还是通过一个例子进行说明解释,首先我们认为小事件 100 个球其中蓝球 99 个红球 1 个,然后计算蓝球或红球的概率分别是 99% 和 1%,这就是传统经典概率。100 球直到其中有红球也有蓝球,知道蓝球不是 99 个就是 1 个,也就是我们已经知道概率分布为红球或蓝球可能有种是 99 个球,另一个颜色球就是 1 个,在这种情况下,我们从任取一个球,发现是蓝色的球。根据我们看到结果就可以推测分布情况为蓝球 99% 而红球 1%,这就是极大似然概率理论解释。

P(状态|观测) = \eta P(观测|状态)P(状态)

状态和观测

这里我们通常将观测看作结果而将状态看作原因,因为有了原因才有结果,也就是存在真实温度我们才能进行测量得到测量值,测量值是真实温度状态的一种观测到状态的反映。后验概率由果推因,也就是我们观测到测量值后推测得到测量的原因。例如我们测量得到结果为 30.5 度,那么能够产生 30.5 度测量值的原因概率是多少,也就是当测量值为 30.5 度真实值是 31 概率是多少、是 32 概率多少,是 30 度概率是多少。

似然概率是由因推果,衡量哪一个原因最有可能导致这个结果的概率。

后验概率 \begin{cases} P(状态_1|观测)\\ P(状态_2|观测) \end{cases}

先验概率 \begin{cases} P(观测|状态_1)\\ P(观测|状态_2) \end{cases}

连续随机变量的贝叶斯公式

P(X < x | Y = y) = \frac{P(Y=y|X < x)P(X <x)}{P(Y=y)}

其中 X < x 作为条件概率看起来好像有点奇怪也没法求解,而且分母也是 0 如果不知道分母为什么为 0 需要看一看随机变量的概率密度。贝叶斯公式无法直接运用于连续随机变量,可以利用化积分为求和对公式进行化简,因为积分本质就是无数个无穷小相加的结果。

X < x 可以转化为 \sum_{u \rightarrow -\infty}^x X = u 所以我们就可以得到
P(X<x|Y=y) = \sum_{u = -\infty}^x P(X=u|Y=y) = \sum_{u = -\infty}^x \frac{P(Y=y|X=u)P(X=u)}{P(Y=y)}

因为如果有一定概率密度知识,大家都知道现在公式是分母和分子都是 0,因为都是求连续函数某一点概率,其实也不是这样,应该是无穷小,趋近于 0 而不是 0 那么两个趋近于 0 的数相除可能不是 0 ,所以我们可以反过来将无穷小写成极限的形式。

\lim_{\epsilon \rightarrow 0} \sum_{u = -\infty}^x \frac{P(y < Y < y + \epsilon|X=u)P(u < X < u + \epsilon)}{P(u < Y < u + \epsilon)}

\lim_{\epsilon \rightarrow 0} \sum_{u = -\infty}^x \frac{(f_{Y|X}(\xi_1|u)\epsilon)(f_X(\xi_2)\epsilon)}{f_Y(\xi_3)\epsilon}

这里需要简单解释一下,我们将 Y 随机变量取值变为从 y 到 y 加上一个非常小\epsilon 来表示,同理 X 随机变量取值也变为从 u 到 u 加上 \epsilon 的区间,这样一来就不存在分母和分子同时为 0 然后我们可以用积分方式表示P(y < Y < y + \epsilon|X=u) 也就是\int_y^{y + \epsilon} f_{Y|X}(y|u)dy 然后用中值定理改写公式为了(f_{Y|X}(\xi_1|u)\epsilon)

\begin{aligned} \xi_1 \in (y,y+\epsilon)\\ \xi_2 \in (u,u+\epsilon)\\ \xi_3 \in (y,y+\epsilon)\\ \end{aligned}

\lim_{\epsilon \rightarrow 0} \sum_{u = -\infty}^x \frac{f_{Y|X}(y|u)f_X(u)}{f_Y(y)} \epsilon

上一篇下一篇

猜你喜欢

热点阅读