WACV 2021 论文大盘点-视频理解篇

2021-02-08 本文已影响0人我爱计算机视觉

编译 | CV君

报道 | OpenCV中文网（微信id：iopencv）

本文总结视频相关技术论文，包含视频理解、摘要、分类。

共计 4 篇，如有遗漏，欢迎补充。

下载包含这些论文的 WACV 2021 所有论文，请点击：

『WACV 2021 开幕，更偏重技术应用，附论文下载』

视频分类

VideoSSL: Semi-Supervised Learning for Video Classification

本次工作中，作者提出使用卷积神经网络（CNN）进行视频分类的半监督学习方法：VideoSSL。与其他 CV 任务一样，现有的监督视频分类方法需要大量的标注数据来获得良好的性能。但对大量数据集进行标注是昂贵和耗时的。

为最大限度地减少对大型标注数据集的依赖，作者提出的半监督方法从少量的标注实例中进行训练，并利用来自未标注数据的两个监管信号。

第一个信号是由正在训练的 CNN 的机密性计算出的未标记例子的伪标签。另一个是由图像分类器 CNN 预测的归一化概率，可捕捉到视频中感有趣目标的出现信息。

在这些来自未标记示例的指导信号的监督下，视频分类 CNN 可以在三个公开可用的数据集（UCF101，HMDB51 和 Kinetics）上利用小部分的标注示例实现不错的性能。。

作者 | Longlong Jing, Toufiq Parag, Zhe Wu, Yingli Tian, Hongcheng Wang

单位 | 纽约市立大学；Comcast Applied AI Research

论文 | https://arxiv.org/abs/2003.00197

视频摘要

Weakly Supervised Deep Reinforcement Learning for Video Summarization With Semantically Meaningful Reward

针对视频摘要任务，作者提出弱监督强化学习方法。由两个子网络组成，视频分类子网络（VCSN）和摘要生成子网络（SGSN），其中前一个子网络起监督作用，指导后一个子网络的学习。结果显明所提出方法超越了其他无监督甚至监督的方法。作者该方法在相关系数、Kendall's τ 和 Spearman's ρ 方面达到了最先进的性能。

作者 | Zutong Li, Lei Yang

单位 | Weibo R&D Limited（微博）

论文 |

https://openaccess.thecvf.com/content/WACV2021/papers/Li_Weakly_Supervised_Deep_Reinforcement_Learning_for_Video_Summarization_With_Semantically_WACV_2021_paper.pdf

视频场景理解

S3-Net: A Fast and Lightweight Video Scene Understanding Network by Single-shot Segmentation

视频中的实时理解在自动驾驶等各种人工智能应用中至关重要。本工作提出用于视频场景理解的快速单样本分割方法。所提出的网络被称为 S3-Net，可以快速定位和分割目标子场景，同时提取结构化的时间序列语义特征作为基于LSTM 的时空模型的输入。利用张量化和量化技术，S3-Net 旨在为边缘提供轻量级计算。

使用 CityScapes、UCF11、HMDB51 和 MOMENTS 数据集进行实验验证，S3-Net 与 UCF11上基于 3D-CNN 的方法相比，准确率提高了 8.1%，存储量减少了 6.9 倍，在使用 GTX1080Ti GPU 的 CityScapes 上的推理速度达到了 22.8 FPS。

作者 | Yuan Cheng, Yuchao Yang, Hai-Bao Chen, Ngai Wong, Hao Yu

单位 | 上海交通大学；南方科技大学；香港大学

论文 | https://arxiv.org/abs/2011.02265