微分熵

定理：设随机向量X∈R^n, 其均值为0，协方差矩阵为$K=EXX^T（K_ij=EX_iX_j）$，则h(X)≤1/2log(2πe)^n|K|，当且仅当X~N(0,K)等号成立。