Maximum Likelihood Estimation
2017-07-01 本文已影响0人
Qinginging
假设，X1～Xn具有联合概率分布:
joint probability
在给定观察数据x1～xn的时候，以上的联合概率分布可以看作关于theta的函数。当前分布是离散分布时，该函数也称为the frequency distribution function。
Some Notions:
-
likelihood of a observed data is defined as:
lik(theta) = probability of observing the given data as a function of theta -
Maximum likelihood estimate - MLE 最大似然估计: 估计使得lik(theta)最大的theta值
实际意义：估计使得the observed data最有可能的参数值。 -
当 Xi 是 i.i.d (identical and independent distribution), likelihood 可以简化为：
likelihood
并且为了简化计算，对likelihood取对数，那么乘积转换成为加法。
log-likelihood
Some Examples
- Normal Distribution Example
Inference
- Multinomial Distribution with constraints
