CVPR2019|LEDNet(Light Encoder-De

2019-05-11  本文已影响0人  Woooooooooooooo

南邮提出实时语义分割的轻量级网络:LEDNET,可达 71 FPS!70.6% class mIoU!即将开源

LEDNet,它采用非对称(asymmetric)编码器 - 解码器架构来进行实时语义分割。更具体地说,编码器采用 ResNet 作为骨干网络,其中有两个新操作:channel split and shuffle,被应用在每个残余块中,以大大降低计算成本,同时保持更高的分割精度。 另一方面,在解码器中采用注意力金字塔网络(APN,attention pyramid network)以进一步减轻整个网络的复杂性。我们的模型参数不到1M,并且能够在单个GTX 1080Ti GPU中以超过71 FPS的速度运行。全面的实验表明,我们的方法在 CityScapes 数据集的速度和准确性权衡方面取得了SOTA。

本文三个创新点:

(1)LEDNet的不对称结构(asymmetrical architecture),如上图所示,使得网络参数大大减少,加速了推理过程;

(2)残差网络中的Channel split and shuffle 有强大的特征表示。此外, Channel shuffle 是differentiable,可以嵌入网络结构中进行端到端训练。

(3)在 decoder 端,采用特征金字塔的注意力机制来设计APN,进一步降低了整个网络的复杂性。

带有 Split and Shuffle Operations的残差模块

由下图可知,LEDNet引入:split-shuffle-bottleneck(SS-bt),其中可以看到整体结构还是ResNet,但额外引入 Channel Split、Concat层和 Channel Shuffle。

Channle Split 将输入分离成两个 lower-dimensional 分支(即各自一半channel),通过设计的3x1 和 1x3卷积,在将两个分支 Concat一起,并最后利用 ShuffleNet中的 Channel Shuffle操作。

APN decoder

转自 https://mp.weixin.qq.com/s?__biz=MzUxNjcxMjQxNg==&mid=2247489173&idx=1&sn=8d538e16cc3e6c06776ff66914df11e7&chksm=f9a2641aced5ed0c8b32e86a9d1cbf747e0e4ed7eaad00ae4fb48fa9edd00568486861f8b734&mpshare=1&scene=1&srcid=&key=77d3afcab8845c965032a2cb97a50ca49007431f4fc5161bedb70329875c68f7a8543b428f4eea36106d31d2b5ee7c03bdec0b6b6834fcdad93618a100f13cd74b83da0789f0f36d90243a53093d7209&ascene=1&uin=ODY2NTI4OTYz&devicetype=Windows+10&version=6206081a&lang=zh_CN&pass_ticket=ypNSqtqxWuuioc8LOcNEoNlQmdG3I%2BVji%2B0RXkt94vb8KggJKYJV7tLD3Z6WMHGQ

上一篇下一篇

猜你喜欢

热点阅读