CVPR2019|LEDNet(Light Encoder-De
南邮提出实时语义分割的轻量级网络:LEDNET,可达 71 FPS!70.6% class mIoU!即将开源
LEDNet,它采用非对称(asymmetric)编码器 - 解码器架构来进行实时语义分割。更具体地说,编码器采用 ResNet 作为骨干网络,其中有两个新操作:channel split and shuffle,被应用在每个残余块中,以大大降低计算成本,同时保持更高的分割精度。 另一方面,在解码器中采用注意力金字塔网络(APN,attention pyramid network)以进一步减轻整个网络的复杂性。我们的模型参数不到1M,并且能够在单个GTX 1080Ti GPU中以超过71 FPS的速度运行。全面的实验表明,我们的方法在 CityScapes 数据集的速度和准确性权衡方面取得了SOTA。
本文三个创新点:
(1)LEDNet的不对称结构(asymmetrical architecture),如上图所示,使得网络参数大大减少,加速了推理过程;
(2)残差网络中的Channel split and shuffle 有强大的特征表示。此外, Channel shuffle 是differentiable,可以嵌入网络结构中进行端到端训练。
(3)在 decoder 端,采用特征金字塔的注意力机制来设计APN,进一步降低了整个网络的复杂性。
带有 Split and Shuffle Operations的残差模块
由下图可知,LEDNet引入:split-shuffle-bottleneck(SS-bt),其中可以看到整体结构还是ResNet,但额外引入 Channel Split、Concat层和 Channel Shuffle。
Channle Split 将输入分离成两个 lower-dimensional 分支(即各自一半channel),通过设计的3x1 和 1x3卷积,在将两个分支 Concat一起,并最后利用 ShuffleNet中的 Channel Shuffle操作。
APN decoder