基于机器学习的视频编码优化

视频编码标准的演进

视频编码标准的演进

• H.264
  • 运动补偿
  • 变换编码（可能是 DCT）
• MPEG-4
  • 亚像素运动补偿
  • 帧内预测
• H.264
  • 可变大小块分区
  • 环路滤波
  • 多参考系
  • CABAC
• H.265/HEVC
  • 四叉树结构
  • CU（编码单元）/PU（预测单元）/TU（变换单元）分区
  • 改进的帧内/帧间预测
• VVC
  • QTBT（四叉树加二叉树）
  • 自适应多重变换

如何使用机器学习？

HEVC

我们可以从视频编码的流程中提取一些问题。

三个抽象问题：

• 递归二分类
• 多类别的分类
• 递归的多类别分类

通过确定 CU 是否分裂，可以将 CU 大小决策制定为递归二元分类。

优化编码模块

基于学习的优化编码：

• 预测编码
  • 帧内预测
  • 帧间预测
• 变换编码
• 增强

帧内预测

一些工作利用学习方法来预测一幅图像中的其他像素。 （帧内预测）

在帧内预测中，一些工作通过使用轻量级 CNN 专注于超分辨率。

帧间预测方案如下所示：

帧间预测

有基于 GAN 的帧内预测。

基于 GAN 的帧内预测

视觉质量评估指标

这里给出一些可能的指标

• 峰值信噪比
• 均方误差
• SSIM
• FSIM
• 多尺度 SSIM
• MOVIE
• ....

然而，机器很难分析视频或图像的质量。

但是，我们可以从数据中学习！

基于机器学习的视频质量分析VQA，可以被分为以下几类：

• 人工特征
• 人工特征 + 基于学习
  • 也就是说，我们可以使用模型利用人工特征来进行分类。
• 基于特征学习（Feature Learning）
• 基于端到端的学习