互信息简介
姓名：彭帅 学号：17021210850
【嵌牛导读】：互信息用于度量两个对象之间的相互性。在过滤问题中用于度量特征对于主题的区分度。互信息的定义与交叉熵近似。
【嵌牛鼻子】：互信息
【嵌牛提问】：互信息基本知识
【嵌牛正文】：
互信息(mutual information)来自于信息论，是用于图像配准的一种经典相似性测度。它最初是由Collignon等和Viola等于1995年引入图像处理领域，用于配准多模图像。目前由于其无需预处理、自动化程度高以及鲁棒性强等特点，利用最大互信息法进行多模图像配准成为了图像处理领域的研究热点。因此，互信息的计算成为多模图像配准的一个关键研究问题，在工业、生物医学、计算机视觉、遥感等应用领域中将可能发挥更大的作用。
目前已有许多基于互信息的图像配准算法的研究文献，所采用的互信息计算方法也各有不同。互信息的计算方法是关系到配准精度和效率的关键因素，尚未有文献对此进行系统全面的讨论；由于算法模型的多样性，使人们在实际应用常常很难确定采用哪一种计算方法。
一.熵简介
熵，热力学中表征物质状态的参量之一，用符号S表示，其物理意义是体系混乱程度的度量。任何一种能量在空间中分布得越均匀，熵就越大，一个体系的能量完全均匀分布时，这个系统的熵就达到最大值。它在控制论、概率论、数论、天体物理、信息论等领域都有重要应用，在不同的学科中也有引申出的更为具体的定义，是各领域十分重要的参量。
1.状态函数
熵S是状态函数，具有加和（容量）性质，是广度量非守恒量，因为其定义式中的热量与物质的量成正比，但确定的状态有确定量。其变化量ΔS只决定于体系的始终态而与过程可逆与否无关。由于体系熵的变化值等于可逆过程热温商δQ/T之和，所以只能通过可逆过程求的体系的熵变。孤立体系的可逆变化或绝热可逆变化过程ΔS=0。
熵是宏观量，是构成体系的大量微观离子集体表现出来的性质。它包括分子的平动、振动、转动、电子运动及核自旋运动所贡献的熵，谈论个别微观粒子的熵无意义。
熵的绝对值不能由热力学第二定律确定。可根据量热数据由第三定律确定熵的绝对值，叫规定熵或量热法。还可由分子的微观结构数据用统计热力学的方法计算出熵的绝对值，叫统计熵或光谱熵。
4.信息熵
任何一个消息的自信息量都代表不了信源所包含的平均自信息量。不能作为整个信源的信息测度，因此定义自信息量的数学期望为离散信源的平均自信息量：
称之为信源的信息熵。H是从整个信源的统计特性来考虑的，它是从平均意义上来表征信源的总体特性的。对于某特定的信源，其信息熵只有一个;不同的信源因统计特性不同，其熵也不同。
二.图像互信息概述
1.互信息
互信息(Mutual Information)是信息论里一种有用的信息度量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。
图像处理中常常需要比较两幅图像的相似度，例如在图像配准中，将互信息值作为配准结果的评价指标。互信息值是其中一种较为常用的方法，其核心思想是熵，即图像所包含的信息。假设有图像A,B，则它们互信息值计算公式为：I(A,B)=H(A)+H(B)-H(A,B)公式的意义很明显。H(A,B)为A,B的联合熵，是使用A,B的联合直方图计算出的结果，可以理解为A,B共同包含的信息。联合熵H(A,B)是检测随机变量A和B相关性的统计量。对于两个随机变量A、B，它们的概率分布分别为pA(a)和pB(b)，联合分布为pAB(a,b).
则他们的联合熵为：
若A、B共同包含信息越少(A、B信息重复越多)，则H(A,B)越小，因此互信息值I越大。
2.归一化互信息
尽管互信息测度成功地应用于图像配准中，由于两幅图像重叠都分的大小对互信息的量度有很大影响，重叠部分减小，参与统计互信息的像素个数减小导致互信息值减小，互信息与两个图像重叠部分多少成正比，误配数量增加可能导致互信息值增大。因此互信息值达到最大并不能保证得到正确的配准结果。为了解决这个问题，使目标函数能更加准确反映互信息量和配准参数之间的关系。Studholme等提出了一个归一化互信息测度，归一化互信息使配准函数更平滑，它能减少对图像重叠部分敏感性，配准精度更高。归一化互信息的定义如下：
