《MS-TCN++》算法详解

2021-06-12 本文已影响0人 ce0b74704937

论文地址：《MS-TCN++: Multi-Stage Temporal Convolutional Network for Action Segmentation 》

从名字可以看出在该文章之前还有一篇《MS-TCN》发表于CVPR2019，MS-TCN在本文的前部分会被介绍。本文《MS-TCN++》则是发表于TPAMI2020。

一、MS-TCN网络结构

文章的网络结构是由多个自己提出的子模块组成的，下面先分别介绍各个子模块的结构，然后说明整个网络的结构。

1.1 Single-Stage TCN

文章认为做视频分割，应该将要有足够大的感受野，但是如果采用pooling操作则会减小时间维度的分辨率，如果采用全连接操作则会要求模型的输入是固定的且会引入大量的网络参数。文章只利用卷积来构建网络模块，当前模块命名为single-stage temporal convolutional network (SS-TCN)。

SS-TCN模块是第一层是一个 $kernel\ size=1$ 的一维卷积，接着跟的是一些空洞卷积，它们的dilation factor逐层成倍的增加，例如1,2,...,512，且所有的空洞卷积参数是一样的，接着跟一个 $kernel\ size=1$ 的一维卷积。

空洞卷积层文章采用了residual的结构，如下图所示，这一个res层定义为1层，总共有l层。

1.png

用公式表示上述结构为

$\hat{H}_l=ReLU(W_d * H_{l-1}+b_d)$

$H_l = H_{l-1}+W\times \hat{H}_l+b$

其中 $H_l$ 表示l层的输出， $*$ 表示卷积操作， $W_d \in R^{3\times D\times D}$ 是空洞卷积的权重（3为卷积核大小，D为卷积核的个数）， $W\in R^{1\times D\times D}$ 是 $1\times 1$ 卷积的权重， $b_d,b\in R^D$ 为bias向量。

每一层的感受野用下面公式表示：

$ReceptiveField(l)=2^{l+1}-1$

其中， $l\in{[1,L]}$ 表示层数。这个公式只在空洞卷积的kernel size为3时成立。

为了使得每一个SS-TCN能够输出每一类的概率值，在SS-TCN最后的 $1\times 1$ 卷积后会接一个softmax激活函数：

$Y_t=Softmax(Wh_{L,t}+b)$

其中， $Y_t$ 表示t时刻的每个类别的概率结果， $h_{L,t}$ 表示SS-TCN模块中最后一个包含空洞卷积的残差层的输出结果（即最后的 $1\times 1$ 卷积的输入）。 $W\in R^{C\times D}$ 和 $b\in R^C$ 分别表示最后的 $1\times 1$ 卷积的权重和偏置参数。C表示待分类的类别，D表示卷积的个数。

1.2 Multi-Stage TCN

文章认为将网络进行堆叠或者说那种multi-stage结构能够对前面层的结果有一个refine的效果，所以本文将这种思想用于时序动作分割任务上来。网络称为multi-stage temporal convolutional network(MS-TCN)。

如上面所述，multi-stage中每一个stage都是对上一个stage估计的结果进行refine，所以每一个stage的输入就是上一个stage的对于每个时刻每个类别的估计输出，如下面公式表示。这里个每个stage就是1.1所述的SS-TCN。

$Y^0=x_1:T,\\ Y^s=F(Y^{s-1})$

其中， $Y_s$ 表示第s个stage的输出，F表示一个SS-TCN。

二、MS-TCN++

2.1 Dual Dilated Layer

在MS-TCN网络中，dilation factor随着层数的增加而增加。这样的操作，虽然可以使得高层中的感受野较大，但是在底层中感受野确很小。而且，高层中的卷积由于有很大的dilation factor导致卷积应用到很大的时间跨度上（没法对一些local信息进行提取）。为了解决这个问题，本文提出了（Dual Dilated Layer）DDL，这个模块中的空洞卷积有两个，一个是随着层数的增大dilation factor增大(同SS-TCN中一样)，另一个是随着层数的增大dilation factor减小。

DDL用公式表示如下：

$\hat{H}_{l,d_1}=W_{d_1}*H_{l-1}+b_{d_1}$

$\hat{H}_{l,d_2}=W_{d_2}*H_{l-1}+b_{d_2}$

$\hat{H_l}=ReLU([\hat{H}_{l,d_1},\hat{H}_{l,d_2}])$

$H_l=H_{l-1}+W*\hat{H_l}+b$

其中， $W_{d_1},W_{d_2}\in R^{3\times D\times D}$ 表示两个空洞卷积的权重，且它们的权重分别为 $2^l$ 和 $2^{l-1}$ ， $W\in R^{1\times 2D \times D}$ 为 $1\times 1$ 卷积的权重， $b_{d_1},b_{d_2},b\in R^D$ 表示对应的偏置项， $[]$ 表示concatenate操作。