相关知识点01
2022-02-17 本文已影响0人
沪漂意哥哥
一.I\P\B帧
I 帧:帧内编码帧 ,一个图像经过压缩后的产物,包含一幅完整的图像信息;
P 帧: 前向预测编码帧,利用之前的I帧或P帧进行预测编码
B 帧: 双向预测内插编码帧 ,利用之前和之后的I帧或P帧进行双向预测编码。
二. DTS和PTS
PTS:Presentation Time Stamp。显示时间戳,表示显示顺序。
DTS:Decode Time Stamp。解码时间戳,表示解码顺序
在没有B帧存在的情况下DTS的顺序和PTS的顺序应该是一样的。
音频中DTS和PTS是相同的,视频中由于可能存在B帧,含B帧的视频PTS与DTS不同。
DTS和PTS三.
音视频同步
如果音频与视频各播各的,由于机器运行速度,解码效率等种种造成时间差异的因素影响,即使最初音视频是基本同步的,也会随着时间的流逝逐渐失去同步。所以,必须要采用一定的同步策略,不断对音视频的时间差作校正,使图像显示与声音播放总体保持一致。
音视频的同步,有三种方式:
1、参考一个外部时钟,将音频与视频同步至此时间;
2、以视频为基准,音频去同步视频的时间;
3、以音频为基准,视频去同步音频的时间。
由于人对声音的变化相对于视觉更加敏感。所以频繁的去调整声音的播放会感觉刺耳或杂音影响用户体验。所以一般情况下,播放器使用第三种同步方式。
四. 视频同步到音频
1、根据音频PTS计算音频播放时钟—clock;
2、根据视频PTS计算视频播放时钟;
3、音频正常播放,视频播放前比较音频clock,计算延迟时间。
音频:
clock = frame->pts * av_q2d(time_base);
视频:
clock = frame->best_effort_timestamp * av_q2d(time_base);
延迟时间:
代码