方差variance, 协方差covariance, 协方差矩阵

http://blog.sciencenet.cn/blog-455004-805926.html

三个式子分别表示了样本的平均值、样本方差无偏估计值、样本协方差的无偏估计值，如果把S、C中的N-1换做N就成了表示方差与协方差了。

mean_cov.jpeg

函数名称：cov
函数功能： 求协方差矩阵
函数用法： cov(X) % cov(X,0) = cov(X)
cov(X,Y) % X,Y必须是各维数都相同的矩阵
cov(X,1) % 除以N而不是N-1
cov(X,Y,1) % 除以N而不是N-1

方差（variance）

集合中各个数据与平均数之差的平方的平均数。
在概率论与数理统计中，方差（Variance）用来度量随机变量和其数学期望（即均值）之间的偏离程度。
方差是各个数据与平均数之差的平方和的平均数.

协方差（covariance）

协方差表示的是两个变量总体误差的方差.

• 如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。
• 如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。
• 如果X与Y是统计独立的，那么二者之间的协方差就是0，反之则不成立。
  表达式：期望值分别为E(X) = μ 与 E(Y) = ν 的两个实数随机变量X与Y之间的协方差定义为：
  COV(X，Y)=E[(X-E(X))(Y-E(Y))]
  =E[(X - μ)(Y - ν )]
  （注：COV(X，Y) = E(XY) - E(X)E(Y) 推导过程为原式做因式分解。

协方差矩阵 （covariance matrix）

标准差和方差一般是描述一维数据的，描述多维数据就要用到协方差，协方差多了放在一起就是协方差矩阵。协方差矩阵是一个矩阵，其每个元素是各个向量元素之间的协方差。是从标量随机变量（也就是单维或单值随机变量）到高维度随机向量的自然推广。
但是要注意，计算协方差矩阵时候，计算的是不同维度之间的协方差，而不是各首先，随机产生一个10*3维的整数矩阵作为样本集，10为样本的个数，3为样本的维数。