强化学习所需的概率基础——概率密度函数

2020-05-16 本文已影响0人黑暗米迦勒

首先我也是小白，二懂二懂的，这里只是做个自己的学习记录，以后好随时查看。
很多地方可能不严谨，不过自己明白才是最重要的，所以不要当成学术性文章来看哈，拒绝各种喷子。
当然，非常欢迎指出我的问题，帮助我进步。

概率密度函数相关

我觉得按以下顺序逐步搞清楚就好了，不必死记硬背

有时一些书上或文章中，可能会把概率密度函数叫做概率分布函数，其实感觉不算严谨，很容易和另一些分布函数的概念搞混。

英文叫：Probability density function
简写：PDF（注意：不是我们平时看的那个pdf文件格式哈）

书上的定义灰机霸复杂，想来想去我还是想用自己的理解来做一个简单的定义，只求易懂不求严谨，请多包涵

描述一个随机变量在某个特定条件点附近的观测值的可能性的函数。

还不够简单？那再来一个口水话版本的：

在某个条件下随机变量取值出现的概率，可以用一个神秘的函数来取得这个概率，这个神秘的特定函数就TM叫概率密度函数

划重点，首先是针对一个随机变量，其次是在某个特定取值点附近，最后它描述的是一个取值（输出值）的可能性。

说白了，就是用来取概率的。
取什么的概率呢，取一个随机变量的概率。
每个随机变量可能都有自己的PDF。
你知道一个随机变量X的PDF，就可以取得他的观测值的概率，就这么简单。

高斯分布，也就是正态分布，他的概率密度函数可以写成这样：
$p(x) = \frac{1}{\sigma\sqrt{2\pi}}e^-(\frac{(x-\mu)^2}{2\sigma^2})$

这里面 $\mu$ 是均值， $\sigma$ 是标准差 (注意：这是一个连续的概率分布)
随便画个图参数取值 $\mu=0,\sigma=2.5$ ，出来是这个样子，就是大家熟悉的钟型函数：

正态分布概率密度函数图
随便找几个点，看看概率：

随便看几个点的概率
横轴是随机变量的观测值，纵轴是概率密度
这张图反应了一个事实，在越靠近原点时取值概率较大，越远离原点时取值的概率比较小。

对于连续的概率分布有以下性质：
$\int_\mathcal{D}p(x)dx = 1$
意思是：把随机变量定义域记做 $\mathcal{D}$ ，对概率函数p(x)做定积分，把全部的x取值都算上，定积分得到的结果是1。

对于离散的概率分布有以下性质：
$\sum_{x\in\mathcal{D}}p(x) = 1$
意思是：随机变量在离散的集合 $\mathcal{D}$ 中取值，把所有的取值都算上，然后对p(x)的结果求和，得到的结果是1。

将这两个综合起来就是概率密度函数的基本性质：把所有可能取值都算上，概率的积分或求和一定等于1。

关于概率密度函数搞懂这些，个人觉得基本上够用了，以后不够再补吧，别妄想一次把数学补完了在学，缺什么补什么，不然等补成了数学家都还没入门强化学习。

最后吐槽一下：好多教科书看完后的感觉是，脑壳突然被枪打了或是突然被门夹了，读了后脑壳痛的要命，一副不把你绕晕就不够专业的样子。