二、FFmpeg的模块结构
[TOC]
开始前的BB
我发现 很多都是上来直接撸，撸完了发现其实还是什么都不会，自己知道ffmpeg有什么自带的东西可以参考的也不了解，那还搞个🔨，，脑海中没有大体的认知，很容易就迷失在细节里无法自拔，只知其术不知其道理，紧接着下一个阶段就是找大佬萌新三连
image
不要慌
这篇文章主要就是给大家一个大体的认知，来认识FFmpeg这个框架，由表及里，由浅入深，解开她神秘的面纱
FFmpeg框架的结构
祖传ffmpeg结构图镇楼
FFmpeg结构
其中 ffplay ffmpeg ffprobe 这三个是ffmpeg里面的能编译为可执行文件的三个功能很强大的东西,这个在我们上面下载的动态库/静态库文件里的
image
-
ffplay:
ffplay是一个非常经典的播放器实现，对于做播放器的朋友，写播放器的时候一定要要去参考，像ijkplayer 就是基于ffplay，同步等地方改动的很少，大部分改动都在显示的部分，主要是实现了解码后的yuv数据上传到opengles，以及封装音频播放的接口（AudioTrack）等。 -
ffmpeg:
ffmpeg这个工具里面包含了很多功能，像轨道提取，视频裁剪，转码、水印、滤镜等功能 -
ffprobe:
ffprobe是一个查看视频格式信息的工具，包括封装信息、视频信息、音频信息等
以上三个工具我们下章讲他一些常用的命令。
底层支撑库简介
除了这三个工具类外，底层的组成部分有以下几个：
avutil
avutil 核心的工具库;其他的模块都会依赖这个库，定义了一些常用的枚举，工具类(加解密、时间、日志，FIFO队列、内存分配、大小端转换等)
avformat
avformat 协议与格式库; 这个模块封装了Protocol、Demuxer、Muxer层，是ffmpeg最重要的模块之一,相当于Android中的 MediaExtracotor
avcodec
avcodec 编解码库;封装了Codec,该模块内置很多解码器，在自己的注册列表中，一些有自己的License的第三方Codec,比如X264.fdk-aac等都可以通过插件的方式添加进来
avfilter
avfilter 音视频滤镜库;提供了很多音频与视频特效处理，可以在编解码过程中直接调用该模块为音视频数据做特效处理，这个处理是利用CPU进行处理的，音频的处理一般都是比较快，影响不是特别的大 视频的处理的，，效率是没有利用OpenGL通过GPU进行处理快
avdevice
avdevice 输入输出设备库; 比如，需要编译出播放声音或者视频的ffplay,就需要确保此模块是打开状态,同时也需要SDL库的预编译，这个设备模块的播放声音与播放视频使用的都是SDL库,也包含了其他的输入/输出设备
swresample
swresample 音频冲采样模块;可以对数字音频进行声道数、采样率、位宽等多种基本信息的转换,比如将SimpleForamt为AV_SAMPLE_FMT_FLTP转换为AV_SAMPLE_FMT_S16P格式的
swscale
swscale 图像数据格式转换模块; 比如可以将YUV数据转换为RGB数据，尺寸从1920 * 1080 缩放为 800 * 480
postproc
postproc avfilter的处理会依赖该模块的一些函数
常用数据结构
-
AVFormatContext封装格式上下文结构体，保存了视频文件封装格式相关信息 -
AVInputFormatdemuxer结构体，每一种封装格式对应一个该结构体(FLV MKV MP4 AVI)AVOutpuFormat对应muxer -
AVStream媒体文件中每个视频/音频流对应一个该结构体 -
AVCodecContext编解码器上下文结构，保存了饮品是编解码相关的信息 -
AVCodec每个视频/音频编解码器对应一个结构体 -
AVPacket储存街凤凰后的一帧压缩编码数据 -
AVFrame储存一阵解码后的像素/采样数据
常用核心函数
主要讲 avformat和avcodc两个库的比较重要的函数
avformat
-
avformat_network_init()注册网络，初始化网络库以及网络加密协议相关的库 (openssl) -
avformat_alloc_context()负责申请一个AvFormatContext结构的内存，并进行简单的初始化 -
avforamt_free_context()释放该结构体里的所有东西，以及他本身
，通常与avformat_alloc_context()成对出现 -
avformat_close_input()关闭解复用器，关闭后就不需要调用avforamt_free_context()进行释放,因为他内部会调用avformat_free_context()方法进行释放 -
avformat_open_input()打开输入文件 -
avformat_find_stream_info()获取视频文件信息 -
av_read_frame()读取音视频包AVPacket -
avformat_seek_file()通过文件字节进行Seek -
av_seek_frame()可以通过相应的格式选择Seek到关键帧还是指定帧以及字节
解复用的调用流程如下
image
- 分配一个AVFormatContext的上下文
- 打开视频文件
- 寻找到对应的流信息
- 循环读取流/或者在中间seek到指定的位置
- 结束读取，关闭流，释放空间
更详细的代码会在后面的章节中有示例代码
avcodec
-
avcodec_alloc_context3()分配解码器的上下文 -
avcodec_find_decoder()根据Id查找解码器 -
avcodec_find_decoder_by_name()根据解码器名字查找解码器 -
avcodec_open2()打开编解码器 -
avcodec_send_packet()发送解封装后的数据包 -
avcodec_recive_frame()接受解码后的数据 -
avcodec_free_context()释放解码器上下文 -
avcodec_close()关闭解码器
解码器的调用流程如下
image
- 分配一个AVCodecContext
- 将AVStream里的Codec的参数传递到AVCodecContext
- 根据Id或者名字寻找的相应的解码器
- 打开解码器
- 发送AVPacket(解封装的数据) ---> 接受到解码后的数据(YUV/PCM)
- 关闭解码器，释放AVCodecContext
关于FFmpeg的核心的结构体与函数，以及相应的解复用/解码的流程先了解这么多，有个大概的印象，我们在后面的文章里，就会慢慢体会到他们带来的无穷快感
image
一袋米要抗几楼 (痛みを感じるようにしましょう) 的佩恩警告⚠️ (づ｡◕‿‿◕｡)づ
未完持续。。。
