Learning features combination fo
摘要
We propose extracting sets of spatial and temporal local features from subgroups of joints, which are aggregated by a robust method based on the VLAD algorithm and a pool of clusters. Several feature vectors are then combined by a metric learning method inspired by the LMNN algorithm with the objective to improve the classification accuracy using the nonparametric k-NN classifier.
将全身的骨骼节点分为不同的子组，可以更好的提取特征
image.png
In the first stage we extract local features, which are then aggregated into global representations. In the third stage, all the resulting features are concatenated. Finally, the learning method extract the relevant information for the k-NN classification
特征
第一种是矢量特征，代表了身体某部分的动作特征，
image.png
第二种特征是关节点的相对位置
image.png
image.png
矢量特征的组合出现了三种特征
image.png
相对位置的组合出现了四种特征
image.png
为什么要分组？
First, smaller features tend to be better clustered, and second, it is preferable to use smaller but complementary groups of joints than reducing the feature space
特征聚类的过程
前面已经定义了几种特征，现在要进行聚类
image.png
第一步通过不同初始化k-meas得到不同聚类点。
image.png
For each subgroup we then obtain C sets of k clusters
第二步用PCA
主成分分析（PCA）的原理就是将一个高维向量x,通过一个特殊的特征向量矩阵U，投影到一个低维的向量空间中，表征为一个低维向量y，并且仅仅损失了一些次要信息。也就是说，通过低维表征的向量和特征向量矩阵，可以基本重构出所对应的原始高维向量。
简单理解
The next step consists in applying PCA to local features individually in each cluster. In this step, we apply PCA keeping all the components？？？？？
第三步生成VLAD描述符
生成VLAD描述符后，两次度量学习，计算相似性，算出最后的描述符。ML
kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。
image.png
原文中github给出的代码中的VLFeat-0.9.20是有问题的，它没有mex文件夹，重新下载就可以了
powerlaw normalization
幂律归一化
参考论文Aggregating local image descriptors into compact codes
BOW的优点
image.png
马氏距离和欧式距离
协方差
马氏距离详解
马氏距离与欧氏距离的区别
协方差矩阵都是正定的,所以一定有逆吧用逆矩阵的原因是相当于除去scale对距离的影响,想想一维的情况就应该能理解了比如说同样距离都是3,但是对于方差大的数据,这个距离就算小了,所以要用距离再除以方差,高维情况就是协方差阵的逆了~
image.png
马氏距离的推导过程，这可以更好的理解PCA
文中说pca降维保留所有特征，进行白化，相当于用马氏距离替换了欧氏距离
变换特征空间，在新的特正空间中，协方差矩阵应该是对角阵，也就意味着维度之间不相关。
这样能将各个特征的权值全部为一，平衡每个特征的贡献
帮助理解白化以及为什么需要白化
image.png
image.png
首先，它减少了突发视觉元素的影响，这损坏图像相似性
突发性的
对应到骨骼数据上，我猜想是减弱簇内
image.png
这是powerlaw的函数图，数值越大被压缩的越厉害。
L2归一化
这里的L2归一化 都是在簇内进行的，也就是在每一个簇内进行数据归一化，让簇内的数据变得标准，而簇间的数据不标准，就是让簇内的关系变强。
pca白化
矩阵表变化过程：
以emg信号为例, 在聚类生成VLAD的过程中，簇内进行PL,PCA 和L2归一化。生成8 x 15 即 120x660的特征矩阵。此时还可以接着进行处理，即对每列进行pca pl L2。这是一组特征的，3组特征就是120x3x660 就是360x660
然后，5次的kmeans的结果分别进行并联。就形成了120x3x5x660 = 1800 x 660 的特征矩阵，并联完后还可以进行pl pca L2
