Android 利用 FFmpeg 获取每一帧数据信息
2019-01-20 本文已影响9人
未见哥哥
一、本节目标
在上一节中演示了如果打开码流并且获取音视频的相关信息。这一节来获取码流每一帧的信息。在开始之前，首先来了解一下 FFmpeg 的对码流的处理过程。
FFmeg 处理流程如下：
- 1、得到输入流，打开输入流
- 2、解封装格式->得到编码数据包 AvPacket
- 3、解码数据包->得到解码的原始数据 AvFrame
- 4、处理数据->例如滤镜处理，重采样，像素格式转化等
- 5、编码原始数据->得到编码后的数据
- 6、封装格式
- 7、得到输出文件
通过了解上面的步骤可以知道，我们本小节的目的就需要处理第1，2步即可。
那么我们需要得到每一帧的什么数据呢？
- 1、 确定是音频帧还是视频帧（暂时不考虑字幕） -> 将对应的数据交给指定的解码器处理。
- 2、 帧的数据以及大小 -> 获取帧的内容，例如音频重采样，视频像素格式转化。
- 3、 帧的时间戳 -> 可以用于音视频同步。
- 4、 是否为关键帧 -> 追帧优化
二、解封装
第1步在上一小节已经描述过了，现在直接跳到第2步。
在 FFmpeg 中使用AvPacket结构体来记录每一帧数据。它是在解封装时调用av_read_frame函数将当前帧数据保存到 AvPacket 中。
2.1、av_read_frame 解封装得到 AvPacket
以下是得到解封装的每一帧数据包的代码，通过循环调用
av_read_frame获取每一帧数据。
//创建 AVPacket 对象空间
AVPacket *pkt = av_packet_alloc();
if (pkt == NULL) {
LOGI("av_packet_alloc failed")
return;
}
//读取数据到 pkt 中，引用计数会 + 1
for(;;){
int ret = av_read_frame(avFormatContext, pkt);
if (ret != 0) {
break;
}
// pkt 的计数引用 -1，如果不将引用计数 -1 的话，内存会一直暴涨
av_packet_unref(pkt);
}
//将 pkt 指针置 NULL
av_packet_free(&pkt);
2.2、音频帧与视频帧的判断
我们知道在码流中每一路流都是对应一个的索引，而需要判断解码出来的数据帧是音频帧还是视频帧，我们需要先获取音频流和视频流的索引值。
audioIndex = av_find_best_stream(avFormatContext, AVMEDIA_TYPE_AUDIO, -1, -1, NULL, 0);
LOGI("音频的索引值是%d", audioIndex)
videoIndex = av_find_best_stream(avFormatContext, AVMEDIA_TYPE_VIDEO, -1, -1, NULL, 0);
LOGI("视频的索引值是%d", videoIndex)
在得到的 AvPacket 中有一个成员stream_index是保存索引，因此音频帧与视频帧的判断的代码如下：
for(;;){
int ret = av_read_frame(avFormatContext, pkt);
if (ret != 0) {
break;
}
if (pkt->stream_index == audioIndex) {
//解码音频数据
}else if(pkt->stream_index == videoIndex){
//解码视频数据
}
// pkt 的计数引用 -1，如果不将引用计数 -1 的话，内存会一直暴涨
av_packet_unref(pkt);
}
2.3、 得到 AvPackge 的数据和大小
在 AvPacket 中通过 uint8_t *data 和 int size来保存对应的当前帧的数据和大小。
2.4、得到时间戳
在 AvPacket 中使用 dts 解码时间戳，pts 展示时间戳这两个属性来表示时间。
for(;;){
int ret = av_read_frame(avFormatContext, pkt);
if (ret != 0) {
break;
}
if (pkt->stream_index == audioIndex) {
//解码音频数据
LOGI("audio pts = %lld,dts = %lld",pkt->pts,pkt->dts);
}else if(pkt->stream_index == videoIndex){
//解码视频数据
LOGI("video pts = %lld,dts = %lld",pkt->pts,pkt->dts);
}
// pkt 的计数引用 -1，如果不将引用计数 -1 的话，内存会一直暴涨
av_packet_unref(pkt);
}
2.5、关键帧的判断
if (pkt->flags & AV_PKT_FLAG_KEY) {
LOGI("read a key frame");
}
三、参考
记录于 2019年1月20日晚
