相关知识点01

2022-02-17  本文已影响0人  沪漂意哥哥

一.I\P\B帧

I 帧:帧内编码帧 ,一个图像经过压缩后的产物,包含一幅完整的图像信息;

P 帧: 前向预测编码帧,利用之前的I帧或P帧进行预测编码

B 帧: 双向预测内插编码帧 ,利用之前和之后的I帧或P帧进行双向预测编码。

二. DTS和PTS

PTS:Presentation Time Stamp。显示时间戳,表示显示顺序。

DTS:Decode Time Stamp。解码时间戳,表示解码顺序

在没有B帧存在的情况下DTS的顺序和PTS的顺序应该是一样的。

音频中DTS和PTS是相同的,视频中由于可能存在B帧,含B帧的视频PTS与DTS不同。

DTS和PTS

三. 音视频同步

如果音频与视频各播各的,由于机器运行速度,解码效率等种种造成时间差异的因素影响,即使最初音视频是基本同步的,也会随着时间的流逝逐渐失去同步。所以,必须要采用一定的同步策略,不断对音视频的时间差作校正,使图像显示与声音播放总体保持一致。

音视频的同步,有三种方式:

1、参考一个外部时钟,将音频与视频同步至此时间;

2、以视频为基准,音频去同步视频的时间;

3、以音频为基准,视频去同步音频的时间。

由于人对声音的变化相对于视觉更加敏感。所以频繁的去调整声音的播放会感觉刺耳或杂音影响用户体验。所以一般情况下,播放器使用第三种同步方式。

四. 视频同步到音频

1、根据音频PTS计算音频播放时钟—clock;

2、根据视频PTS计算视频播放时钟;

3、音频正常播放,视频播放前比较音频clock,计算延迟时间。

音频:

      clock = frame->pts * av_q2d(time_base);

视频:

      clock = frame->best_effort_timestamp * av_q2d(time_base);

延迟时间:

        代码

上一篇下一篇

猜你喜欢

热点阅读