互信息测度
信息的测度
Hartley 用如下公式，定义了信息的测度：
其中，代表信息的长度，而
表示信息中每个信息种类可能值（概率）的数量。
Shannon 提出了基于Shannon 熵新的信息测度公式，如下所示：
- Shannon 熵公式根据结果发生的概率对信息进行了权重处理
- 事件发生的信息量与其概率成反比
用熵表示图像配准效果
用熵的概念表示图像的配准效果，熵在此处和灰度相关直方图一样，如下图所示，在二维平面上生成两幅图像的灰度相关直方图来判断图像的配准效果，如果图像配准效果好，灰度相关直方图的分布越集中，反之，越分散。
定义联合熵的公式如下所示：
'
图像配准的效果越好，联合熵的值越小。
互信息的定义
两幅图像的互信息有三种常用的定义，如下：
(1)
其中 表示
已知的情况下，
的信息测度。
(2)
- 互信息测度的值越大，联合熵的值越小；
- 使用互信息而不是联合熵的优势在于，互信息包括了单个输入的熵；
- 在图像背景区域较低的情况下，图像的联合熵也会更小，所以使用互信息测度优于联合熵。
(3)
- 此定义与两个分布之间的Kullback-Leibler距离有关；
- 此公式定义了两个分布之间的依赖性；
-
的值越大，则图像的配准效果越好；
- 在特征选择中，将该值最小化，以确保两个特征不相关。
归一化互信息的定义
- 归一化互信息的定义如下：
- 熵相关系数
互信息的性质
互信息具有如下几个性质：
-
的互信息等于
的互信息，即
-
,即一幅图像本身的互信息等于该图像的熵；
- 两幅图像之间的互信息小于其本身的熵，即
-
,
已知的情况下，无法增加
的不确定性；
-
,说明两幅图像完全无关；
- 如果
互信息在图像配准过程中的应用
结合以上所学，总结出利用互信息进行图像配准的一些方法框架，如下图所示，描述了图像配准中一些主流的测度方法，转换方法和优化的算法：
利用互信息的图像配准流程
下图表述了利用互信息实现图像配准的基本流程，首先通过对输入图像进行预处理，再通过初始的概率密度预估，通过互信息测度评估图像配准的结果，并通过最优化算法加速这一过程，再利用图像配准中的一些转换方法重新调整图像，并不断迭代此过程，直到达到最优的配准结果。
概率密度预估一般是通过计算两幅图像的联合熵实现的，但是，也有通过Parzen Winodow方法实现的概率密度估计，通过采样点的加权和实现，加权是通过高斯窗实现的，如下公式所示:
互信息测度在图像配准中的应用
如下图所示，如果两幅配准后的能够完全重合在一起，其图像的互信息测度较大，且互信息测度等于该图像的熵，且联合熵的分布是一条对角斜线，所有点都集中地分布在该斜线上。
如下图，若对其中一幅图像中的人物稍加移动，互信息测度变小，联合熵变大，且联合熵的分布在直线上会略加散乱。
再如下图所示，若对图像中的目标移动更大的幅度，则互信息测度更小，联合熵更大，且联合熵的分布有了更多的散落点分布在对角线两侧。
