Gated Transformer Networks for M
2021-07-06 本文已影响0人
术枚派
一、背景
使用transdormer来进行多变量时间序列分类。提出了GTN网络。
二、模型
使用了双塔式 的transformer结构，这是因为在多变量的时间序列中，需要考虑不仅是step-wise（时间）还有channel-wise（空间）信息，之前的方法是使用卷积，感受野通过参数共享来结合step-wise和channel-wise的信息。
而这篇论文提出的双塔式的结构分别提取step-wise和channel-wise的信息。其中右边边的是step-wise的，左边是channel-wise的，因为channel的位置信息没有相对和绝对的关系，所以只在step-wise添加位置信息。
gating
gating 的计算
三、实验效果
这篇文章的可视化值得好好学习一下。
attention map以及DTW距离和欧式距离（L2距离）看相互关系。
可以看出DTW距离小不意味着两个序列更像。
这个图是可视化每个时间步的embedding。
