能量函数是如何定义的？
Wiki:
The Energy functional is the total energy of a certain system, as a functional of the system's state.
In the energy methods of simulating the dynamics of complex structures, a state of the system is often described as an element of an appropriate function space. To be in this state, the system pays a certain cost in terms of energy required by the state. This energy is a scalar quantity, a function of the state, hence the term functional. The system tends to develop from the state with higher energy (higher cost) to the state with lower energy, thus local minima of this functional are usually related to the stable stationary states. Studying such states is part of the optimization problems, where the terms energy functional or cost functional are often used to describe the objective function.
能量函数的定义：
将待聚类的事物看成一个系统，事物之间的相异程度看成系统元素间的能量，当能量达到一定程度时，事物就形成一个新的类，表示系统需要重新分类。聚类过程中要求每个事物属于一个类，每个簇中不存在能量大于阈值的系统，不同的簇中不存在能量小于阈值的的系统。
理解：
- 物理解释：大自然的规律，能量越小越稳定，因此自然的变化都是朝着能量小的方向进行的。
- 由于 1 的解释，所以我们有了一个求极小值的科学根据，为啥求它极小呢？因为能量呀……这样的说法可以说也比较严谨，但是对于初学者来说，应该是一头雾水，迷迷瞪瞪的了。这里不妨我就不严谨地下个结论，我们所求的能量函数以及能量最小其实就是一个逼近，逼得越近那么我们的方差也就越小，这里也就可以说我们用了最小二乘法。（最小二乘就是求两个点的差，然后平方，使一堆点到一堆对应点的总距离最小）
- 看完 2 估计你还是不太清楚，这么说吧，构建能量函数就是我们用方程的最小值来描述我们想要达到的实际效果，并且在得到最小值时我们所求得的参数就是我们想要得到的最优解。
例如：我们想让一个点移到图像边缘上，那么我们求图像每个点对应的梯度，当我们的初始点经过迭代 (X+\Delta X, y + \Delta y) 以后，落到了边缘点上，那么我们的梯度达到最大，此时我们就把点移到了图像边缘上。你可能会问了，我们是要找能量最小，又不是能量最大，好吧，你在梯度前面加个负号吧，这样是不是就是最小了。- 其实形式是千变万化的，比如我们在做正则化时，其实加入的正则项就是这样，求真实值与预期值的最小二乘，当真实值与预期距离变小时，最小二乘的值也就随之变小了，这也就是说整个方程趋于能量减小的方向。
首先，我们给出由两个样本元素 x_i, x_j \in {\mathbb R}^N 构成的系统能量函数：
E(x_i,\, x_j) = \rho f(\mu_{ij} \cdot g(x_i,\,x_j))
- \rho 是学习率
- g(x_i,\,x_j) 表示样本元素 x_i, x_j 构成的系统相异程度
- \mu_{ij} \in [0, 1] 表示样本元素 x_i, x_j 相异程度对系统能量的影响程度，\mu_{ij} 越小，表明 x_i 和 x_j 相异程度对该样本系统的能量贡献越小，反之越大。
计算多个样本构成的系统的能量时，系统的总能量为各个小系统的能量之和：
E(x_1,\, \cdots, x_K) = \rho \sum_{i=1}^{K-1} \sum_{j=i+1}^{k} f(\mu_{ij} \cdot g(x_i,\,x_j))
聚类过程：
- 初始化系统的能量阈值 \theta 和学习率 \rho，一般初始情况可取 \rho = 1；
- 对样本进行分块，将相似的事物划分到同一块中
- 对每一块 p 求初始聚类中心；
- 判断块中任意样本与块的聚类中心构成的系统的能量与临界值的关系。如果所有的 \chi_i \in C_p 满足 E(X_i, \,X_p) \leq \theta，则聚类结束，且聚类中心为 X_p，否则转到下一步；
5.再聚类，首先，以块中已和 X_p 聚类的所有样本 X_i 为聚类中心，计算块中其余未聚类的样本 X_j 与样本 X_i 构成的能量，如果存在 i 满足 E(X_i, \,X_p) \leq \theta，则 X_j 也属于以 X_p 为聚类中心的类。直到块中已分类的样本中不存在与未分类的样本构成的二样本系统的能量小于等于 \theta 为止。重复2、3、4步处理其他的块；
6.类合并，对于不同的类，判断是否存在两个样本构成的系统能量小于等于 \theta，如果存在则合并这两个类，直到没有两个类构成的能量小于 \theta 为止。
