均值，方差，协方差，协方差矩阵，特征值，特征向量

1.均值：描述的是样本集合的中间点。公式如下

2.标准方差：描述的是样本集合的各个样本点到均值的距离之平均，一般是用来描述一维数据的。

3.协方差:
1)是一种用来度量两个随机变量关系的统计量。
2)只能处理二维问题。
3)计算协方差需要计算均值。

4. 方差与协方差的关系
方差是用来度量单个变量“自身变异”大小的总体参数，方差越大表明该变量的变异越大
协方差是用来度量两个变量之间“协同变异”大小的总体参数，即二个变量相互影响大小的参数，协方差的绝对值越大，则二个变量相互影响越大。

5.协方差矩阵
1)协方差矩阵能处理多维问题；
2)协方差矩阵是一个对称的矩阵，而且对角线是各个维度上的方差。
3)协方差矩阵计算的是不同维度之间的协方差，而不是不同样本之间的。
4)样本矩阵中若每行是一个样本，则每列为一个维度，所以计算协方差时要按列计算均值。如果数据是3维，那么协方差矩阵是：

协方差(i,j)=(第i列所有元素-第i列均值)*(第 j列所有元素-第j列均值)/(样本数-1)

下面在给出一个4维3列样本的实例：

我们还可以看出，协方差矩阵都是方阵，它的维度与样本维度有关（相等）

6.特征值与特征向量

转载自：http://blog.csdn.net/yangleo1987/article/details/52845912