音视频知识图谱 2022.03

前些时间，我在知识星球上创建了一个音视频技术社群：关键帧的音视频开发圈，在这里群友们会一起做一个打卡任务：循序渐进的归纳总结音视频技术知识，绘制一幅音视频知识图谱。

下面是 2022.03 月知识图谱新增的内容节选：

1）图谱路径：图像算法/视频防抖

• 传统电子防抖

• 通过分析前后帧画面的变化，建立特征点，反求出在拍摄时的手机运动，之后再通过反求出来的运动轨迹反向补偿达到稳定画面的目的。

• 光学防抖

• 利用手机中已经有的陀螺仪进行手机运动姿态的采集，然后通过马达驱动单个镜头或者整个镜组移动来补偿运动。

• 陀螺仪电子防抖

• 不再通过识别画面来反求运动信息，而是直接从陀螺仪数据读取数据。

• 光学 + 电子混合防抖

• 同时采用光学和电子防抖对图像进行稳定。

• 微云台防抖

• vivo X50 Pro 机型采用该方案。和 OIS 仅移动镜组不同的是，微云台移动的是整个相机模组。

• 传感器防抖

• 传感器位移式光学图像防抖。既然镜头更重了，那么就不移动镜头，转而去移动重量更轻的传感器。这样就有可能在更小的体积内实现类似于浮动镜组方案的光学防抖效果。

2）图谱路径：编解码/视频编解码/编码策略/码率控制策略

• CBR（固定码率，Constant Bitrate），以恒定比特率方式进行编码。

• 有运动发生时，由于码率恒定，只能通过增大 QP 来减少码字大小，图像质量变差；当场景静止时，图像质量又变好，因此图像质量不稳定。

• 这种算法码率稳定，对带宽的消耗稳定，适合在流式播放中应用。

• VBR（动态码率，Variable Bitrate），码率分配根据图像内容的复杂度进行。

• 如果图像细节较丰富或者含有大量的运动，则给其分配大一点的码流，若图像比较平坦，就给其分配较少的码流， 这样在保证了质量的前提下，兼顾带宽占用。

• 这种算法适合图像内容变化幅度较大的场景，适合的应用场景是本地存储（如视频录制），不适合网络传输（如直播推流）。

• ABR（平均码率，Average Bitrate），控制一段时间内的编码平均码率。

• 是在 CBR 和 VBR 两者之间的一种权衡，即设定一段时间的平均码率，在此时间内，对简单的、静态的图像分配低于平均码率的码率，对于复杂的，大量运动的图像分配高于平均码率的码流。

• 适合网络传输。

• CVBR（有限制的动态码率，Constrained VariableBit Rate），对应的 Maximum 码率恒定或者 Average 码率恒定。

• 是 VBR 的一种改进方法，对应的 Maximum 码率恒定或者 Average 码率恒定。兼顾了 CBR 和 VBR 的优点：在图像内容静止时，节省带宽，有运动发生时，利用前期节省的带宽来尽可能的提高图像质量，达到同时兼顾带宽和图像质量的目的。这种方法通常会让用户输入最大码率和最小码率，静止时，码率稳定在最小码率，运动时，码率大于最小码率，但是又不超过最大码率。

• CRF（恒定码率系数，Constant Rate Factor），优先保障某一个视觉质量来分配码率。

• 把某一个『视觉质量』作为输出目标。通过降低那些耗费码率但是又难以用肉眼察觉的帧（高速运动或者纹理丰富）的质量提升那些静态帧的码率来达到此目的。

3）图谱路径：编解码/音频编解码/编码原理/冗余

• 时域冗余

• 幅度分布的非均匀性

• 样值之间的相关性

• 信号周期之间的相关性

• 静止系数

• 长时自相关性

• 频域冗余

• 长时功率谱密度的非均匀性

• 语音特有的短时功率谱密度

• 听觉冗余

• 人耳掩蔽效应

• 将会被掩蔽的信号分量在传输之前就去除

• 不理会可能被掩蔽的量化噪声

• 将人耳不敏感的频率信号在数字化之前滤除，如语音信号只保留 300Hz-3400Hz 的信号

---

如果你也对音视频技术感兴趣，比如，符合下面的情况：

• 在校大学生 → 学习音视频开发
• iOS/Android 客户端开发 → 转入音视频领域
• 直播/短视频业务开发 → 深入音视频底层 SDK 开发
• 音视频 SDK 开发 → 提升技能，解决优化瓶颈

不妨看看《是的，我建了一个进阶百万年薪的社群》了解一下这个社群，根据自己的需要，按需加入（本文最后有加入社群的二维码，还剩少量优惠券）。

---

下面是 2022.03 月的知识图谱快照：

2022.03 月的音视频知识图谱快照