统计概率论与数理统计简友广场

总结|概率论与数理统计的前世今生

2020-03-03  本文已影响0人  三金姐姐

🏷查找了一些关于概率论与数理统计的历史,感兴趣的朋友不要错过!Favorite it ~ 会持续更新🤗🤗🤗

统计学是一门年轻的科学。虽然人类的统计实践是随着计数活动而产生的,因此,统计发展史可以追溯到远古的原始社会,也就是距今有5000多年的漫长岁月。但是,能使人类的统计实践上升到理论上予以概括总结的程度,即开始成为一门系统的科学统计学,却是近代的事情,距今只有300余年的短暂历史。统计学发展的概貌,大致可划分为古典记录统计学、近代描述统计学和现代推断统计学三种形态。

20世纪初以来,科学技术迅猛发展,社会发生了巨大变化,统计学进入了快速发展时期。甚至有的科学家还把我们的时代叫做“统计时代”。显然,20世纪统计科学的发展及其未来,已经被赋予了划时代的意义。


发展史

16世纪

16世纪  意大利学者吉罗拉莫·卡尔达诺(Girolamo Cardano,1501.9.24-1576.9.21)开始研究掷骰子等赌博中的一些简单问题。他是「古典概率论」的创始人。

17世纪

1646年 法国数学家布莱斯·帕斯卡(Blaise Pascal,1623.6.19-1662.8.19)与法国数学家费马(Pierre de Fermat,1601.8.17-1665.1.12)通信,他们一起解决某一个上流社会的赌徒兼业余哲学家送来的一个问题,他弄不清楚掷3个骰子出现某种组合时为什么老是输钱。在解决这个问题的过程中,建立了概率论和组合论的基础,得出了关于概率论问题的一系列解法,奠定了近代概率论的基础。

18世纪

1713年 瑞士数学家雅各布·伯努利(Jakob Bernoulli,1654.12.27-1705.8.16)的遗著《猜度术》出版了,其中他提出了概率论中的第一个极限定理,即「伯努利大数定律」,他第一个对经验频率的稳定性进行了严格地理论证明。他是使概率论成为数学的一个分支的奠基人。之后,俄国数学家、力学家切比雪夫(Пафну́тий Льво́вич Чебышёв,1821.5.26-1894.12.8)在一般条件下推导出了大数定律,称为「切比雪夫大数定律」。

1733年 德国数学家和天文学家棣莫弗(Abraham De Moivre,1667.5.26-1754.11.27)研究伯努利大数定律中p=1/2的情形,他导出了n!的渐进公式(又称「斯特林公式」),在求二项分布的渐进分布中发现了「正态分布」的密度函数,标志着他首次提出了正态分布。后来这一结果被皮埃·西蒙·拉普拉斯推广到一般的情形,后世称之为「棣莫弗-拉普拉斯中心极限定理」,这是概率论历史上的第二个极限定理,是第一个中心极限定理。

1763年 英国数理统计学家托马斯·贝叶斯(Thomas Bayes,1702-1761)发表了贝叶斯统计理论。同年,Richard Price整理发表了贝叶斯的成果,提出「贝叶斯公式」。贝叶斯是对概率论与数理统计的早期发展有重要影响的两位人物之一(另一位是布莱斯·帕斯卡)。

19世纪

1809年 德国数学家约翰·卡尔·弗里德里希·高斯(Johann Carl Friedrich Gauß,1777.4.30-1855.2.23)发表了《绕日天体运动的理论》,这本书中包含一节有关“数据结合”的问题,在这一节中他讨论了误差分布理论,并且在此过程中独立导出了「正态分布」,推广了正态分布的应用,因此正态分布也被称为「高斯分布」。同年,高斯提出「最小二乘法」。

1812年 法国著名的天文学家和数学家皮埃·西蒙·拉普拉斯侯爵(Pierre-Simon marquis de Laplace,1749.3.23-1827.3.5)发表了《概率的分析理论》。在这一著作中,他首次明确规定了概率的古典定义(通常称为「古典概率」),并在概率论中引入了更有力的分析工具,如「差分方程」、「母函数」等,从而实现了概率论由单纯的组合运算到分析方法的过渡,将概率论推向了一个新的发展阶段。

1821年 德国数学家高斯针对正态分布提出「最大似然估计」。

19世纪20年代 芬兰数学家贾尔·瓦尔德马·林德伯格(Jarl Waldemar Lindeberg,1876.8.4-1932.12.12)和法国数学家莱维(Paul Pierre Lévy,1886-1971)证明了在任意分布的总体中抽取样本,其样本均值的极限分布为正态分布,被称为「林德伯格-莱维(Lindeberg-Lévy)中心极限定理」。

1837年 法国数学家西莫恩·德尼·泊松(Siméon-Denis Poisson,1781.6.21-1840.4.25)首次提出「泊松分布」。这个分布在更早些时候由伯努利家族的一个人描述过。

1863年 阿贝(Abbe)首先提出χ²分布,后来由海尔墨特(Hermert)和现代统计学的奠基人之一的卡尔·皮尔逊分别于1875年和1900年推导出来。

1875年 英国科学家和探险家弗朗西斯·高尔顿(Francis Galton,1822.2.16-1911.1.17)在朋友的帮助下作了有关香豌豆的实验,通过对所得数据的分析,他终于发现子代性状有向母代平均回归的现象,并通过自然采集人体指标数据验证了所得结论,首次提出“回归”的概念。

1888年 弗朗西斯·高尔顿提出了“相关指数”的概念,并在此概念的基础上发展了一种用图形估计相关系数的方法,同年,他在一篇论文中给出了第一个正式的关于“相关系数”的数字,从数量的角度刻画了两个变量之间的相关程度。

19世纪下半叶 俄罗斯的彼得堡学派引入「随机变量」。这标志着概率论由古典概率时期进入到近代概率。

1895年 统计学家卡尔·皮尔逊(Karl Pearson,1857.3.27-1936.4.27)首次提出「偏态(skewness)」。

20世纪

1900年 德国数学家戴维·希尔伯特(David Hilbert,1862-1943)提出要建立概率的公理化定义以解决适合一切随机现象的概率的最一般的定义。

1900年 英国数学家、生物统计学家卡尔·皮尔逊(Karl Pearson,1857.3.27-1936.4.27)提出了一个替换原理,利用这个原理而获得的估计量成为「矩估计」。同年,他引进了著名的「χ²拟合优度检验」。卡尔·皮尔逊是20世纪统计学的伟大奠基人,被称为20世纪统计学之父。他的工作在描述统计学向推断统计学发展的历史舞台上起到了承前启后的作用,为统计学随后的飞速发展奠定了坚实的基础。

1901年 卡尔·皮尔逊提出「主成分分析」(多元统计分析的经典方法),但只是针对非随机变量。1933年由美国公认的统计学界、经济学界、数学界公认大师哈罗德·霍特林(Harold Hotelling,1895—1973)推广到随机变量。

1905年 统计学家卡尔·皮尔逊(Karl Pearson,1857.3.27-1936.4.27)首次提出「峰态(kurtosis)」。(S:不知道聪明的你有没有发现。皮尔逊在10年前首次提出偏态,又在提出矩估计、χ²拟合优度检验、主成分分析后提出峰态。是什么启发皮尔逊想到偏态呢?值得深思。)

20世纪初 卡尔·皮尔逊(K.Pearson)提出「假设检验」,之后费希尔进行细化,并最终由奈曼(Neyman)和E.Pearson提出了较完整的假设检验理论。

1908年 英国统计学家哥赛特(Gosset)在Biometrics杂志上以笔名Student发表了使他名垂统计史册的论文:均值的或然误差。在这篇文章中,提出了「t分布」。t分布的发现在统计学史上具有划时代的意义,打破了正态分布一统天下的局面,开创了小样本统计推断的新纪元。后来,费希尔注意到他证明中的漏洞,并于1922年给出了此问题的完整证明,并编制了t分布的分位数表。

1909年-1920年 丹麦数学家、电气工程师A.K.Erlang用概率论方法研究电话通话问题,开创了「排队论」。

1920年 为了更准确地估计随机序列发展变化的规律,从20世纪20年代开始,学术界利用数理统计学原理分析时间序列。研究的重心从总结表面现象转移到分析序列值内在的关系上,由此开辟了一门应用统计学科——「时间序列分析」。

1922年 R.A.Fisher费希尔正式提出「充分统计量」,而其思想源于他与天文学家爱丁顿的有关估计标准差的争论中。同年,他在1821年高斯的基础上再次提出「最大似然估计」的想法并证明了它的一些性质而使得最大似然法得到了广泛的应用。

1924年 美国贝尔实验室的沃特·阿曼德·休哈特(Walter A. Shewhart)博士在备忘录中向上级提出了使用“控制图”(Control Chart) 的建议,「质量控制图」是将统计学原理应用于控制产品质量的图形方法。他是统计质量控制 (SQC) 之父。

1924年 英国统计与遗传学家、现代统计科学的奠基人之费希尔(Ronald Aylmer Fisher,1890-1962)提出「F分布」,并以其姓氏的第一个字母命名的。之后,他又提出「方差分析」(Analysis of Variance,简称ANOVA)。

1924年 费希尔(Ronald Aylmer Fisher,1890-1962)补充了卡尔·皮尔逊(K.Pearson)引进的\chi^2拟合优度检验 。即在实际问题中,有时诸p_{i0}还依赖于k个未知参数,这时皮尔逊建立的定理则再成立。费希尔证明了,在同样的条件下,可以先用MLE方法估计出这k个位置参数,然后在计算出p_{i0}的估计值。这时类似的统计量当n\rightarrow\infty时,还是渐进服从卡方分布,不过自由度为r-k-1。

1928年 奈曼(Neyman)和皮尔逊(E.Pearson)提出了「似然比检验」,它是一种应用较广的检验方法,在假设检验中的地位有如MLE在点估计中的地位。

1929年 苏联数学家亚历山大·雅科夫列维奇·辛钦(Алекса́ндр Я́ковлевич Хи́нчин,1894.7.19-1959.11.18)在同分布的条件下推广了切比雪夫大数定律,称为「辛钦大数定律」。

1929年 贝伦斯从实际问题中提出若对\sigma _1^2,\sigma _2^2没有什么信息,m,n也不很大,求\mu_1-\mu_2的精确置信区间。这是历史上著名的「贝伦斯-费希尔(Behrens-Fisher)问题」。

1933年 苏联数学家柯尔莫哥洛夫(Kolmogorov,1903.4.25-1987.10.20)建立了测度论基础上的严格「概率论公理化体系」。使之成为和微积分一样的严格话数学体系,同时在这个体系中包含了经典和统计两种意义下的定义,因而不仅满足了数学本身的需求,也适应了自然科学乃至工程技术的要求。

1933年 美国数理统计学家、数理经济学家哈罗德·霍特林(Harold Hotelling,1895—1973)首先提出「主成分分析」。这是一种降维的思想,在损失很少信息的前提下把多个指标利用正交旋转转化为几个综合指标的多元统计分析方法。

1934年 美国统计学家J.奈曼(Jerzy Neyman,1894–1981)所创立了一种严格的区间估计理论——「置信区间」。置信系数是这个理论中最为基本的概念。通过从总体中抽取的样本,根据一定的正确度与精确度的要求,构造出适当的区间,以作为总体的分布参数(或参数的函数)的真值所在范围的估计。

1936年 印度著名统计学家马哈拉诺比斯(Mahalanobis,1893-1972)提出了「马氏距离」。

1938年 H. Wold在他的博士论文“A Study in the Analysis of Stationary Time Serious”中提出了著名的「Wold分解定理」,即对于任何一个离散平稳过程{x_t},它都可以分解为两个不相关的平稳序列之和,其中一个为确定性的,另一个为随机性的。这个定理是现代时间序列分析理论的灵魂。Cramer在1961年证明这种分解思路同样可以用于非平稳序列。Cramer分解定理说明任何一个序列的波动都可以视为同时受到了确定性影响和随机性影响的作用。

1945年 威尔科克森(F·Wilcoxin)建立「秩统计量」。秩和检验(rank sum test)又称顺序和检验,它是一种非参数检验(nonparametric test)。它不依赖于总体分布的具体形式,应用时可以不考虑被研究对象为何种分布以及分布是否以知,因而实用性较强。

1950年 E.L. Lehmann和H. Scheff提出「完全统计量」的概念,并给出了寻找可估函数(即参数函数的无偏估计存在)的UMVUE的充分完全统计量法,即「Lehmann-Scheff定理」。

1955年 斯泰因(Stein)证明了当维数p大于2时,正态均值向量最小二乘估计的不可容性,即能够找到另一个估计在某种意义上一致优于最小二乘估计。

1960年 Lindley等指出:当样本量足够大时,\alpha _0可以趋于1,而p接近于0,即利用P值检验和贝叶斯检验得到的结论相悖,因此也被称做Lindley悖论。

1965年 马西(W.F.Massy)根据多元统计分析中的主成分分析(Principal Components Analysis,PCA)提出了「主成分回归」。

1977年 哈佛大学数学家A.P.Dempster等人提出「EM算法」,用于含有隐变量的概率模型参数的极大似然估计。

1995年 新西兰奥克兰大学的Ross Ihaka和Robert Gentleman在S语言(S语言是由AT&T贝尔实验室开发的一种用来进行数据探索、统计分析、作图的解释型语言)的基础上开发了一个新系统,由于这两位科学家的名字首字母都是R,所以该系统软件被取名为“R”。


毕业院校

英国

剑桥大学:卡尔·皮尔逊、费希尔、弗朗西斯·高尔顿、马哈拉诺比斯

爱丁堡大学:托马斯·贝叶斯

法国

巴黎综合理工大学:莫恩·德尼·泊松、莱维

卡昂大学:皮埃·西蒙·拉普拉斯

德国

柯尼斯堡大学(现为康德波罗的海联邦大学):戴维·希尔伯特

哥廷根大学:约翰·卡尔·弗里德里希·高斯(18岁起)

布伦瑞克工业大学:约翰·卡尔·弗里德里希·高斯(14岁起)

瑞士

巴塞尔大学:雅各布·伯努利

俄国

莫斯科大学:柯尔莫哥洛夫、切比雪夫、亚历山大·雅科夫列维奇·辛钦

美国

加州大学伯克莱分校:沃特·阿曼德·休哈特

华盛顿大学:哈罗德·霍特林


人物关系

师生

1、卡尔·皮尔逊(K.Pearson)是哥赛特的老师,哥赛特于1906年到1907年到卡尔·皮尔逊那里学习统计学,并着重研究少量数据的统计分析问题。

2、F.高尔顿是卡尔·皮尔逊(K.Pearson)的老师。


参考资料:

[1]百度百科

[2]现代统计学发展的一条主线——karl pearson的生平、思想及其成就

上一篇下一篇

猜你喜欢

热点阅读