相关性 独立性 因果关系

数理统计知识是众多机器学习算法的理论基础，其中某些概念在网络资源中出现的很频繁，比如变量的相关性、独立性、事件的因果关系等。但是作者的表达水平参差不齐，常常在用词上有疏漏，导致一些基础概念没吃透的读者(比如我)，感到费解与困惑。查阅了大量资料之后，将其中有帮助的理解阐释，汇总整理如下，欢迎交流。

1  相关性与独立性

相关性，描述两个随机变量是否存在线性关系；独立性，则考察的是两个随机变量是否存在某种关系。因此，相互独立事件必然不相关，反过来却不一定成立。此外，若随机变量X,Y服从二元高斯分布，则二者不相关与独立互为充要条件。

2  统计独立与条件独立

事件间的独立性分为统计独立与条件独立。统计独立是基于大量统计，公认的无条件独立；条件独立，可看做统计独立的替代，是给定条件下的独立。

所谓统计独立，是指一些随机现象经过大量观察，在它们之间出现的结果不呈现显著联系，因此认为这些随机现象相互独立。然而在客观实际中，统计独立十分稀少，事情往往相互影响，关联。但这种影响或关联往往依赖于其他变量，而非事件本身相互作用。即，X与Y的依赖借由Z产生。

例如，Z，今天是否下雨，X，明天是否下雨，Y，今天地面是湿的。在不知道今天是否下雨的情况下，明天下雨，那么今天地面很有可能是湿的，因为明天下雨，今天有一定可能也下雨了。同样的前提，如果今天地面是湿的，那么有可能是因为今天下雨了，那么明天也存在继续下雨的可能。尝试对Z事件进行限制，今天没下雨，那么今天地面可能不是湿的，也有可能是湿的，比如今天洒水车全天工作。但是这显然与今天天气是否下雨无关了，而明天的降水情况只能与今天天气有所联系，自然与地面湿不湿没有影响。同理，认定今天下雨，也能推知同样结果，地面湿不湿与明天是否下雨无关。

再例如，X，冰棍卖的好不好，Y，游泳溺亡人数。这二者之间确实相互影响，天气炎热，冰棍买的好，游泳的人增多，溺亡数随之增多。反之天气不炎热，这二者的数值会协同下降。然而，一旦温度唯一确定下来，那么冰棍销量可能取决于口味，取决于客流量，但显然与溺水死亡人数无关，反之亦然。

总结一下就是，X与Y的依赖借由Z产生，其一，Z事件的成立与否，对X、Y均有影响；其二，一旦Z事件发生与否被确定，则X与Y之间就不存在影响与关联。因此，条件独立的思想与实验方法中的控制变量法有相似之处，都需要提前对一个或几个随机变量进行限制才能使涉及其他随机变量的结论切实有效。

3 关联性与因果关系

我们研究概率统计，目的之一就是用于揭示事件间的关联性和因果关系。注意这里用的词是关联，而不是相关，更不是独立。因为相关在概率统计上特指线性关系，而独立的概念只存在于假设范畴，样本本身是不能用来讨论独立性的，只能使用统计上的关联性来描述。

首先，在统计上具有A越多，B越多现象的两件事(越少同理)，是否一定存在关联性或因果关系？这其中有四种情况：情况1，A导致B；情况2，B导致A。这二者反映出A、B间的因果关系。情况3，A、B均由C导致，这反映出A、B间具有关联性，但不存在因果。情况4，A、B间毫无关系(关联性)。

对情况4举例说明。大数据分析发现，A儿童时期吃越多牛排的人，B成年后收入越高。这种现象是因为C发达国家食物以牛排为主，发达国家收入比不发达国家高。但发达国家并不导致儿童时期多吃牛排，比如日本，韩国，新加坡；发达国家比不发达国家收入高，也不导致成年后收入高，反例是发达国家的街头也有很多Homeless。所以这个例子不属于情况123中的任何一种，因为显然不是12，而3也由上文推知不成立，所以只能归为情况4，毫无关联性。

那么，具有关联性的二者，一定具有因果关系吗？不一定。医院与死亡具有关联性，但两者之间不存在因果关系。

综上，样本变量间协同变化的数值变化关系不一定反映出关联性或因果关系，而具有关联性的二者也不一定存在因果。