学习统计推断时遇到的问题1-参数估计
Q1: minimum method 和maximum likelihood estimation的区别是什么?
A:least square method是maximum likelihood method的一个special的分支
当likelihood为Gaussian时,minimize和maximize likelihood一样。
refs:
Data Reduction and Error Analysis for Physical Science
Q2:maximum likelihood方法与Bayesian方法中的likelihood的区别是什么?
A:两者的likelihood的表达式都是(其中为数据,为参数)。
maximum likelihood 方法中的likelihood被视为参数的函数,是人为可调的。我们选择使likelihood最大的参数值作为最佳参数值。
Bayesian方法中的likelihood是通过观测数据得到的,不是人为可调的。我们通过对真实数据的观测得到lh;
根据经验或其它原则(此处有不同观点,参见Mathematical Statistics and Data Analysis 3rd - John Rice)确定参数的先验分布;
最后,根据Bayes定理,得到参数的后验分布。
refs:
Maximum Likelihood vs. Bayesian Parameter Estimation Ronald J. Williams CSG 220 Spring 2007
What is the difference in Bayesian estimate and maximum likelihood estimate? - StackOverflow
Q3: maximum likelihood 方法中选择使likelihood最大的参数值作为最佳参数值。从这种表述看,似乎得到的是确定的参数值,那么文献中出现的参数值的概率分布图是如何得到的?
A:因为我们想知道测量参数的误差
ref: emcee manual
以上为找到的refs和个人的初步理解,后续随理解的变化持续更新……