光流估计网络---FlowNet2.0

1. 光流估计网络---FlowNet1.0
2. 光流估计网络---FlowNet2.0

---

• 论文地址：FlowNet 2.0: Evolution of Optical Flow Estimation with Deep Networks
• 收录：ICCV 2017 (IEEE International Conference on Computer Vision)
• 论文代码： github-Caffe

概述

相比传统方法，FlowNet1.0中的光流效果还存在很大差距，并且FlowNet1.0不能很好的处理包含物体小移动（small displacements）的数据或者真实场景数据（real-world data），FlowNet2.0极大的改善了1.0的缺点。

1. 优势：

• 速度上，FlowNet2.0只比1.0低一点点；但错误率在原来基础上降低了50%不止
• 最快模型甚至达到140fps的速度，仍保持和FlowNet1.0类似的准确率

2. 上述优势的主要原因有：

• 改变训练策略
• 通过网络叠加优化光流效果，并warp输入图片
• 引入分支网络专门处理物体的小移动情况

以下为1.0和2.0在物体小移动情况下的效果对比：

训练策略

作者对不同数据集、不同网络结构下，使用不同训练策略的结果进行了对比：

• 在Sintel train clean数据集上测试。
• 涉及两个数据集：Chairs和Things3D，Chairs为作者FlowNet1.0中生成的数据集，Things3D为另外一个作者在2016年方法中使用的数据集，可以当作3D版的Chairs。mixed为等比例混合两种数据集之后的集合。Chairs→ Things3D代表先在Chairs上训练，然后在Things3D上训练。
• 涉及两种网络结构：FlowNetS和FlowNetC，在FlowNet1.0说明过。
• 涉及三种训练策略：Sshort为1.0中的训练策略，训练6000个iteration；Slong则训练1.2M个iteration；Sfine则fine-tune使用更小的学习率。

表中最好的结果证明：先在Chairs上训练，然后在Things3D上进行fine-tune，效果最好。

堆叠网络

作者堆叠了三个网络，第一个为FlowNetC，第二个和第三个为FlowNetS，因为在第二和第三个中还包含：FLow、根据Flow把Image 2 warp到Image 1、warp的Image 1与原先Image 1之间的亮度差值，如果也用FlowNetC网络，则无法处理这么多输入情况。

• 训练时，采用one-by-one和Chairs→ Things3D策略，即先训练好前一个网络，再训练后一个，训练各网络时，先在Chairs上训练，然后在Things3D上fine-tune。
• 作者对网络FlowNetS中的通道数进行调整，得到不同的实验结果：
  

  证明：通道数减为原来的3/8时，准确率和速度之间效益最好。作者用FlowNet2-CSS代表叠加原来的网络，用FlowNet2-css代表叠加通道数删减过的网络。

• 除此，作者还探索了叠加不同网络个数的影响：
  
  综合时间性能和准确率考虑上，FlowNet2-css效果最好，FlowNet2-s速度最快，达到140fps。

小位移的分支网络

针对物体很小位移情况，作者在Chairs基础上生成了一个小位移的数据集ChairsSDHom，把FlowNet2-CSS网络结构在ChairsSDHom和Things3D上进行fine-tune，实验结果用FlowNet2-CSS-ft-sd表示，实验表明错误率有降低，但是这样也对噪声敏感，作者猜测FlowNet并不太适合对物体小位移情况。作者对FlowNet-S进行调整：去掉第一层的stride=2；并把7x7和5x5卷积核改成多个堆叠的3x3卷积核；在反卷积时，添加额外的卷积层。修改后的网络结构用FlowNet-SD表示。

实验

1. 速度和错误率在不同数据集上，与其它方法的比较：

   
   

• 在Sintel上，FlowNet2要比DeepFlow和EpicFlow错误率低，与Flow-Fields有可比性，但是它们的速度都比FlowNet2.0低很多。在Sintel上fine-tune后的结果FlowNet2-ft-sintel错误率最低。
• 在KITTI上，FlowNet2-CSS与EpicFlow和Flow-Fields有可比性。同样KITTI上fine-tune后的结果，FlowNet2-ft-kitti错误率最低。
• 在Middlebury上，FlowNet2与传统方法也具有可比性，即使还差一些，但是相比FlowNetS也是有很大的提升。

2. 在Sintel上，不同方法的可视化结果：

   
   

• FlowNet2与FlowFields效果上具有可比性，而与其速度上有可比性的方法FlowNetS和PCA-Flow，其效果非常差。