音视频技术一周推荐阅读2019-08-05

视频增强

• 无参考质量评估在视频增强的进展与应用：腾讯音视频实验室的高孟平在LiveVideoStackCon 2019上海大会中的分享。
  • 利用无参考质量评价指导视频增强演算法的适配，达到最佳的主观效果。
  • 腾讯音视频实验室推出的人眼感知视频服务平台把视频服务分为视频理解、视频处理、视频编解码/传输和质量评估。视频处理中的视频增强包括视频超分、清晰度增强、降噪等。
  • 码率越低的情况下人眼可识别的视频质量就越差。但视频增强中锐度增强的评价却类似二次曲线，视频在进行很小一部分的视频增强操作之后，主观评价会上升，但锐度过多之后容易产生卡通效应，同时噪声也会被放大。
  • 团队的base是ICCV在2017年的paper RankIQA，RankIQA是一个Non Reference (NR)、Deep Learning (DL)的IQA，它主要解决了收集资料的成本问题。
  • 未来如何评估人眼的运动遮蔽效应、VQA Temporal info pooling该怎么做、算法加速的问题如何解决，都是未来要努力的方向。

QoE

1. 提升OTT QoE的3项创新技术： harmonicinc公司视频策略副总裁Thierry Fautier分享的“探讨帮助运营商为订阅者提供最佳QoE的挑战和三项面向未来的技术”。

• 到2024年，超过3.1亿个家庭将至少拥有一项OTT服务——相当于约5.86亿的总订阅量。
• 内容感知编码、低延迟CMAF和边缘扩展三项技术将帮助OTT服务运营商提供最佳QoE。
• 内容感知编码CAE：使用AI离线训练提高对视频质量测量的准确性，可以让编码器根据视频复杂性实时调整编码参数。CAE相比于CBR可节省更多码率。
• MPEG-CMAF主要是为了解决流媒体行业的互操作性问题，因为它减少了所需不同媒体文件格式的数量。MPEG-CMAF是一个基于fMP4 (ISOBMFF)的媒体容器标准。
• 边缘扩展：服务提供商在ISP接入网络中部署边缘节点。对于实时事件，接近用户的扩展将提供最佳的QoE。

2. 统一监测指标，提升用户QoE：滑铁卢大学教授Zhou Wang，为统一监测指标，提升用户QoE提出的QOE指标SSIMplus。

• 在SSIMplus中首先对人类视觉系统模型HVS进行研究，使用软件来模仿人类的感知，在此基础上给出分数评价视频质量的好坏。

编解码

1. MPEG 127th会议（2019.7）主要进展

• VVC(Versatile Video Coding)进入到了ISO / IEC标准审批流程的第一个正式阶段：委员会草案。由专家提议技术文件的阶段，但尚未在委员会之外进行任何官方审查。
• VVC标准适用于非常广泛的应用，基于1080p HD、4K、8K、标准和高动态范围以及宽色域等各种视频类型的测试，发现目前的VVC与HEVC相比，比特率降低了约35-60％
• VVC标准适用于非常广泛的应用，既有与旧标准相比的显著改进，也具有一些新功能。虽然现在宣布编码效率上的改进还为时过早，但基于1080p HD、4K、8K、标准和高动态范围以及宽色域等各种视频类型的测试，发现目前的VVC与HEVC相比，比特率降低了约35-60％

2. 《MPEG的过去、现在和未来》： MPEG主席Leonardo Chiariglione撰写的《MPEG的过去、现在和未来》一书近期已于他的主页上发布。

• 书中概述了所有MPEG标准，特别是视频、音频、媒体质量、系统和数据。
• 介绍了MPEG正在制定哪些新标准。
• Leonardo对于MPEG未来的看法。

3. FFmpeg硬件编码器的基准测试：Streaming Learning Center的负责人Jan Ozer介绍了FFmpeg硬件编码器的基准测试方法和结果。

• 使用最常用的编码设置。
• 使用encoding ladder测试capacity。
• 使用速率畸变曲线测试质量。
• 硬件编码具有巨大的前景。
• 在H.264编码下，NVIDIA GPU优于Intel Quick Sync。
• 在HEVC编码下，NGCodec最适合实时编码。