数据降维方法介绍(十一)
第七种方法:拉普拉斯特征映射
姓名:何源 学号:21011210073 学院:通信工程学院
转载:LE(拉普拉斯特征谱)
【嵌牛导读】拉普拉斯特征映射算法简介
【嵌牛鼻子】拉普拉斯特这谱
【嵌牛提问】拉普拉斯特征映射的思想是什么?算法的基本步骤是什么?
【嵌牛正文】
拉普拉斯特征映射算法基本思想
LE是Belkin和Niyogi在2002年提出的基于谱图理论的Laplacian特征映射算法。Belkin等人发现流形Laplician-Beltrami算子的特征函数可以实现流形的低维嵌入。其中,Lapliacian-Beltrami算子的定义为流形切空间上梯度向量的负散度函数。LE算法的主要思想是通过拉普拉斯Belrami算子来实现高维向量在低维空间的嵌入,使得高维空间中离得很近的点映射到低维空间后也应该离得很近。
通过构建邻接矩阵为 的图来重构数据流形的局部结构特征,如果两个数据实例和很相似,那么和在降维后目标子空间中也应该接近。设数据实例的数目为 ,目标子空间(即降维后的维度)为,定义大小的矩阵 ,其中每一个行向量是数据实例在目标子空间中的向量表示。为了让样本和在降维后的子空间里尽量接近,优化的目标函数为:也就是和距离平方求和乘以权重的最小值。
拉普拉斯特征映射算法步骤
(1)构造近邻图。定义一个包含所有样本点的图,可以使用超球标准或者k近邻标准来判断近邻。
(2)近邻点边赋权。设置近邻点之间的权值,两种方式,可以使用热核函数或者简单方式。
(3)特征映射。对上述建立的图,进行广义的特征分解。,其中是一个对角矩阵。其对角线上的值为每一列上权值的加和。是的拉普拉斯矩阵。。特征映射的结果由广义特征方程中前个最小特征对应的特征向量张成。
拉普拉斯特征映射算法分析
拉普拉斯特征映射算法算法中构造近邻图和求得低维嵌入计算复杂度为O()和O(),设置重构权值矩阵复杂度不超过O()所以相对于局部线性嵌入算法,拉普拉斯特征映射算法算法需要的计算量较少,执行快。
拉普拉斯特征映射算法缺点
没有办法像对流形上距离较远的点不加约束,所以使得拉普拉斯特征映射算法和局部线性嵌入算法一样没有办法恢复同样的流形等距的低维坐标。
拉普拉斯特征映射算法热核函数的超参数调节需要注意,不同的参数会产生完全不同的效果,调节目前需要经验的指导。
拉普拉斯特征映射算法对噪声的鲁棒性较差,当采样数据存在噪声或者起一点的时候,拉普拉斯特征映射算法对噪声显得比较敏感,没有办法从噪声数据中学习出其内部的几何结构。