MediaCodec 编码后的数据使用 FFmpeg 进行封装

2019-02-15 本文已影响4人 GeorgeMR

由于使用 MediaMuxer 进行文件封装不支持边转码边分块，所以选择通过使用 FFmpeg muxer 进行文件封装, 在封装过程中完成文件的分块。

FFmpeg 音视频复用器（Muxer）

音视频封装 - 将视频压缩数据（例如H.264）和音频压缩数据（例如AAC）合并到一个封装格式数据（例如MP4）中去。如图所示：

音视频复用.png

参考雷霄华的博客，整理出 FFmpeg 封装音视频的流程：

FFmpeg muxer流程.png

创建 AVFormatContext 结构体
调用 avformat_alloc_output_context2() 方法初始化 AVFormatContext 关于输出文件相关属性

avio_open2() - 打开输出文件

AVDictionary *options = NULL;
// 指定分块文件的大小
av_dict_set(&options, "BLK_BUF_TAG", buff, 0);

// 回调函数结构体
AVIOInterruptCB interrupt_callBack = (AVIOInterruptCB *)malloc(sizeof(AVIOInterruptCB));
memset(interrupt_callBack, 0, sizeof(*interrupt_callBack));
// 指定回调函数，处理分块文件时调用
interrupt_callBack->callback_blk = ffmuxer_notify_blk_callback;
interrupt_callBack->opaque = NULL;
interrupt_callBack->handle = (void *)pMuxer;

res = avio_open2(&fmtCtx->pb, out, AVIO_FLAG_BLK_WRITE, interrupt_callBack, &options);

通过 avformat_new_stream 创建 video & audio stream 并设置相关配置信息
avformat_write_header() - 写入文件头
av_interleaved_write_frame() - 写入一个 AVPacket 到输出文件
av_write_trail() - 写入文件尾

关于 FFmpeg 复用音视频的流程介绍到此，总结一下重点就是：初始化相关结构体，配置属性，写入压缩数据，释放。下面介绍在 MediaCodec 中如何调用：

因为 MediaCodec 调用 FFmpeg 相关代码是通过 jni 调用，这里不展开介绍。下面的 native*** 方法均为 FFmpeg 对应的原生方法

nativeMuxerOpen

初始化 FFmpeg muxer：当 video&audio 编码器的输出 MediaFormat 均发生变化，说明编码器即将输出数据。此时即可初始化 FFmpeg muxer（执行 FFmpeg 复用流程中的 1，2，3步骤）

nativeAddAudioTrack & nativeAddVideoTrack

添加 video & audio stream: 编码器输出压缩数据，且 flag 为 BUFFER_FLAG_CODEC_CONFIG（即配置信息）时，

// 添加 video stream
AVStream *stream = avformat_new_stream(fmtCtx, avcodec_find_encoder(codec));
stream->codec->width = info.videoWidth;
stream->codec->height = info.videoHeight;
stream->codec->extradata = (uint8_t *)av_mallocz(info.bufferLen + FF_INPUT_BUFFER_PADDING_SIZE);
memc(stream->codec->extradata, info.buffer, info.bufferLen);
stream->codec->extradata_size = info.bufferLen;

// 添加 audio stream
AVStream *stream = avformat_new_stream(fmtCtx, avcodec_find_encoder(codec));
stream->codec->sample_fmt = AV_SAMPLE_FMT_S32;
stream->codec->sample_rate = info.audioSampleRate;
stream->codec->channel_layout = getChannelLayout(info.audioChannel);
stream->codec->channels = info.audioChannel;
stream->codec->bit_rate = info.audioBitrate;
stream->codec->extradata = (uint8_t *)av_mallocz(info.bufferLen + FF_INPUT_BUFFER_PADDING_SIZE);
memc(stream->codec->extradata, info.buffer, info.bufferLen);
stream->codec->extradata_size = info.bufferLen;

nativeWriteVideoStream & nativeWriteAudioStream

写入 video & audio 压缩数据：编码器输出压缩数据，且 flag 不是 BUFFER_FLAG_CODEC_CONFIG：

// 写入 video packet
AVPacket packet;
av_init_packet(&packet);

packet.stream_index = pMuxer->videoIndex;
packet.data = info.buffer;
packet.size = info.bufferLen;
packet.pts = rescaleTime(info.stamp, stream->time_base);
packet.duration = 0;
packet.dts = packet.pts;
packet.pos = -1;

// 关键帧
if (info.flag == BUFFER_FLAG_KEY_FRAME) {
 packet.flags |= AV_PKT_FLAG_KEY;
}

// 写入一个 AVPacket 到输出文件
int ret = av_interleaved_write_frame(fmtCtx, &packet);

// 写入 audio packet
AVPacket packet;
av_init_packet(&packet);

packet.stream_index = pMuxer->audioIndex;
packet.data = buffer;
packet.size = bufferLen;
packet.pts = rescaleTime(stamp, stream->time_base);
packet.dts = packet.pts;
packet.pos = -1;
    
// 写入一个 AVPacket 到输出文件
int ret = av_interleaved_write_frame(fmtCtx, &packet);

nativeMuxerClose

写入文件尾及释放相关结构体：当编码完成后，调用 muxerclose 方法进行释放：

if (pMuxer->videoStream) {
 avcodec_close(((AVStream *)pMuxer->videoStream)->codec);
    pMuxer->videoStream = 0;
}
        
if (pMuxer->audioStream) {
 avcodec_close(((AVStream *)pMuxer->audioStream)->codec);
    pMuxer->audioStream = 0;
}

if (pMuxer->pContext) {
 AVFormatContext *fmtCtx = (AVFormatContext *)pMuxer->pContext;
    // 写入文件尾
    av_write_trailer(fmtCtx);
    avio_close(fmtCtx->pb);
 avformat_free_context(fmtCtx);
    pMuxer->pContext = 0;
}

MediaCodec 编码后的数据使用 FFmpeg 进行封装

FFmpeg 音视频复用器（Muxer）

猜你喜欢

热点阅读