音视频流媒体开发-目录

ffmpeg中有很多已经实现好的滤波器，这些滤波器的实现位于libavfilter⽬录之下，⽤户需要进⾏滤波时，就是是调⽤这些滤波器来实现的。ffmpeg对于调⽤滤波器有⼀整套的调⽤机制。

官⽅：
[1] ffmpeg.org/libavfilter documentation
[2] ffmpeg.org/Filters Documentation

1.FFmpeg filter简介

FFmpeg filter提供了很多⾳视频特效处理的功能，⽐如视频缩放、截取、翻转、叠加等。

其中定义了很多的filter，例如以下常⽤的⼀些filter。

• scale：视频/图像的缩放
• overlay：视频/图像的叠加
• crop：视频/图像的裁剪
• trim：截取视频的⽚段
• rotate：以任意⻆度旋转视频

⽀持的filter的列表可以通过以下命令获得。

ffmpeg -filters

也可以查看⽂档[2]，具体某个版本的⽀持情况以命令⾏获取到的结果为准。

以下是filter的⼀个简单的应⽤示例，对视频的宽和⾼减半。

ffmpeg -i input -vf scale=iw/2:ih/2 output

2.filter的使⽤⽅法

学习filter的使⽤，先需要了解⼀下filter的语法。

FFmpeg中filter包含三个层次，filter->filterchain->filtergraph。

具体参考下图：

说明：

第⼀层是 filter 的语法。
第⼆层是 filterchain的语法。
第三层是 filtergraph的语法。

filtergraph可以⽤⽂本形式表示，可以作为ffmpeg中的-filter/-vf/-af和-filter_complex选项以及ffplay中的-vf/-af和libavfilter/avfilter.h中定义的avfilter_graph_parse2()函数的参数。

为了说明可能的情况，我们考虑下⾯的例⼦“把视频的上部分镜像到下半部分”。

处理流程如下：

1. 使⽤split filter将输⼊流分割为两个流[main]和[temp]。
2. 其中⼀个流[temp]通过crop filter把下半部分裁剪掉。
3. 步骤2中的输出再经过vflip filter对视频进⾏和垂直翻转，输出[flip]。
4. 把步骤3中输出[flip]叠加到[main]的下半部分。

以下整个处理过程的⼀个图示，也就是对filtergraph的⼀个描述[2]。

                                  [main]
input --> split ---------------------> overlay --> output
            |                             ^
            |[tmp]                  [flip]|
            +-----> crop --> vflip -------+

这个我们之前编程实现过。

可以⽤以下的命令来实现这个流程。

ffmpeg -i INPUT -vf "split [main][tmp]; [tmp] crop=iw:ih/2:0:0, vflip [flip]; [main][flip] overlay=0:H/2" OUTPUT

处理结果如下图所示。

下⾯具体了解每⼀层的语法，从⽽理解上⾯这个命令的含义。

2.1 filter的语法

⽤⼀个字符串描述filter的组成，形式如下

[in_link_1]…[in_link_N]filter_name=parameters[out_link_1]…[out_link_M]

参数说明：

1. [in_link_N]、[out_link_N]：⽤来标识输⼊和输出的标签。in_link_N是标签名，标签名可以任意命名，需使⽤⽅括号括起来。在filter_name的前⾯的标签⽤于标识输⼊，在filter_name后⾯的⽤于标识输出。⼀个filter可以有多个输⼊和多个输出，没有输⼊的filter称为source filter，没有输出的filter称为sink filter。对输⼊或输出打标签是可选的，打上标签是为了连接其他filter时使⽤。
2. filter_name：filter的名称。
3. “=parameters”：包含初始化filter的参数，是可选的。

“=parameters”有以下⼏种形式

1. 使⽤':'字符分隔的⼀个“键=值”对列表。如下所示。

ffmpeg -i input -vf scale=w=iw/2:h=ih/2 output
ffmpeg -i input -vf scale=h=ih/2:w=iw/2 output

2. 使⽤':'字符分割的“值”的列表。在这种情况下，键按照声明的顺序被假定为选项名。例如，scale filter的前两个选项分别是w和h，当参数列表为“iw/2:ih/2”时，iw/2的值赋给w，ih/2的值赋给h。如下所示。

ffmpeg -i input -vf scale=iw/2:ih/2 output

3. 使⽤':' 字符分隔混合“值”和“键=值”对的列表。“值”必须位于“键=值”对之前，并遵循与前⼀点相同的约束顺序。之后的“键=值”对的顺序不受约束。如下所示。

ffmpeg -i input -vf scale=iw/2:h=ih/2 output

filter类定义了filter的特性以及输⼊和输出的数量，某个filter的使⽤⽅式可以通过以下命令获知。

ffmpeg -h filter=filter_name

也可以查看⽂档[2]，但具体某个版本的参数形式以命令⾏获取到的结果为准。

rotate filter的使⽤⽅式

• 可以看出它⽀持slice threading。
• Inputs下⾯定义的是输⼊。可以看出rotate filter有⼀个输⼊，格式为Video。
• Outputs下⾯定义的是输出。可以看出rotate filter有有⼀个输出，格式为video。
• AVOptions下⾯定义了⽀持的参数，后⾯有默认值描述。为了简化输⼊参数，对⻓的参数名提供⼀个简化的名称。⽐如rotate filter中，“angle”的简化名称是“a”。

以下是使⽤到fiter的标签名的⼀个示例：抽取视频Y、U、V分量到不同的⽂件

ffmpeg -i input.mp4 -filter_complex "extractplanes=y+u+v[y][u][v]" -map "[y]" input_y.mp4 -map "[u]" input_u.mp4 -map "[v]" input_v.mp4

extractplanes filter指定了三个输出，分别是 [y][u][v]，抽取后，将不同的输出保存到不同的⽂件中。

2.2 filterchain的语法

⽤⼀个字符串描述filterchain的组成，形式如下

"filter1, filter2, ... filterN-1, filterN"

说明：

1. 由⼀个或多个filter的连接⽽成，filter之间以逗号“,”分隔。
2. 每个filter都连接到序列中的前⼀个filter，即前⼀个filter的输出是后⼀个filter的输⼊。

⽐如示例

ffmpeg -i INPUT -vf "split [main][tmp]; [tmp] crop=iw:ih/2:0:0, vflip [flip]; [main][flip] overlay=0:H/2" OUTPUT

示例说明：

1. crop、vflip在同⼀个filterchain中

2.3 filtergraph的语法

⽤⼀个字符串描述filtergraph的组成，形式如下

"filterchain1;filterchain2;...filterchainN-1;fiterchainN"

说明：

1. 由⼀个或多个filter的组合⽽成，filterchain之间⽤分号";"分隔。
2. filtergraph是连接filter的有向图。它可以包含循环，⼀对filter之间可以有多个连接。
3. 当在filtergraph中找到两个相同名称的标签时，将创建相应输⼊和输出之间的连接。
4. 如果输出没有被打标签，则默认将其连接到filterchain中下⼀个filter的第⼀个未打标签的输⼊。例如以下filterchain中。

nullsrc, split[L1], [L2]overlay, nullsink

说明：split filter有两个输出，overlay filter有两个输⼊。split的第⼀个输出标记为“L1”，overlay的第⼀个输⼊pad标记为“L2”。split的第⼆个输出将连接到overlay的第⼆个输⼊。

5. 在⼀个filter描述中，如果没有指定第⼀个filter的输⼊标签，则假定为“In”。如果没有指定最后⼀个filter的输出标签，则假定为“out”。
6. 在⼀个完整的filterchain中，所有没有打标签的filter输⼊和输出必须是连接的。如果所有filterchain的所有filter输⼊和输出pad都是连接的，则认为filtergraph是有效的[2]。

⽐如示例

ffmpeg -i INPUT -vf "split [main][tmp]; [tmp] crop=iw:ih/2:0:0, vflip [flip]; [main][flip] overlay=0:H/2" OUTPUT

其中有三个filterchain, 分别是：

1. "split [main][tmp]"。它只有⼀个filter，即 split，它有⼀个默认的输⼊，即INPUT解码后的frame。有两个输出, 以 [main], [tmp] 标识。
2. "[tmp] crop=iw:ih/2:0:0, vflip [flip]"。它由两个filter组成，crop和vflip，crop的输⼊ 为[tmp]，vflip的输出标识为[flip]。
3. "[main][flip] overlay=0:H/2"。它由⼀个filter组成，即overlay。有两个输⼊，[main]和[flip]。有⼀个默认的输出。

3 基本结构

我们把⼀整个滤波的流程称为滤波过程。下⾯是⼀个滤波过程的结构

图中简要指示出了滤波所⽤到的各个结构体，各个结构体有如下作⽤：

4 创建简单的滤波过程

创建整个滤波过程包含以下步骤：

⾸先需要得到整个滤波过程所需的滤波器（AVFilter），其中buffersrc以及buffersink是作为输⼊以及输出所必须的两个滤波器。

1 const AVFilter *buffersrc = avfilter_get_by_name("buffer");
2 const AVFilter *buffersink = avfilter_get_by_name("buffersink");
3 const AVFilter *myfilter = avfilter_get_by_name("myfilter");

创建统合整个滤波过程的滤波图结构体（AVFilterGraph）

1 filter_graph = avfilter_graph_alloc();

创建⽤于维护滤波相关信息的滤波器实例（AVFilterContext）

1 AVFilterContext *in_video_filter = NULL;
2 AVFilterContext *out_video_filter = NULL;
3 AVFilterContext *my_video_filter = NULL;
4 avfilter_graph_create_filter(&in_video_filter, buffersrc, "in", args,NULL, filter_graph);
5 avfilter_graph_create_filter(&out_video_filter, buffersink, "out", NULL, NULL, filter_graph);
6 avfilter_graph_create_filter(&my_video_filter, myfilter, "myfilter", NULL, NULL, filter_graph);

⽤AVFilterLink把相邻的两个滤波实例连接起来

1 avfilter_link(in_video_filter, 0, my_video_filter, 0);
2 avfilter_link(my_video_filter, 0, out_video_filter, 0);

提交整个滤波图

1 avfilter_graph_config(filter_graph, NULL);

5 创建复杂的滤波过程

当滤波过程复杂到⼀定程度时，即需要多个滤波器进⾏复杂的连接来实现整个滤波过程，这时候对于调⽤者来说，继续采⽤上述⽅法来构建滤波图就显得不够效率。对于复杂的滤波过程，ffmpeg提供了⼀个更为⽅便的滤波过程创建⽅式。

这种复杂的滤波器过程创建⽅式要求⽤户以字符串的⽅式描述各个滤波器之间的关系。如下是⼀个描述复杂滤波过程的字符串的例⼦：

1 [0]trim=start_frame=10:end_frame=20[v0];\
2 [0]trim=start_frame=30:end_frame=40[v1];\
3 [v0][v1]concat=n=2[v2];\
4 [1]hflip[v3];\
5 [v2][v3]overlay=eof_action=repeat[v4];\
6 [v4]drawbox=50:50:120:120:red:t=5[v5]

以上是⼀个连续的字符串，为了⽅便分析我们把该字符串进⾏了划分，每⼀⾏都是⼀个滤波器实例，对于⼀⾏：

1. 开头是⼀对中括号，中括号内的是输⼊的标识名0。
2. 中括号后⾯接着的是滤波器名称trim。
3. 名称后的第⼀个等号后⾯是滤波器参数start_frame=10:end_frame=20，这⾥有两组参数，两组参数⽤冒号分开。
4. 第⼀组参数名称为start_frame，参数值为10，中间⽤等号分开。
5. 第⼆组参数名称为end_frame，参数值为20，中间⽤等号分开。
6. 最后也有⼀对中括号，中括号内的是输出的标识名v0。
7. 如果⼀个滤波实例的输⼊标识名与另⼀个滤波实例的输出标识名相同，则表示这两个滤波实例构成滤波链。
8. 如果⼀个滤波实例的输⼊标识名或者输出标识名⼀直没有与其它滤波实例的输出标识名或者输⼊标识名相同，则表明这些为外部的输⼊输出，通常我们会为其接上buffersrc以及buffersink。

按照这种规则，上⾯的滤波过程可以被描绘成以下滤波图：

ffmpeg提供⼀个函数⽤于解析这种字符串：avfilter_graph_parse2。这个函数会把输⼊的字符串⽣成如上⾯的滤波图，不过我们需要⾃⾏⽣成buffersrc以及buffersink的实例，并通过该函数提供的输⼊以及输出接⼝把buffersrc、buffersink与该滤波图连接起来。整个流程包含以下步骤：

创建统合整个滤波过程的滤波图结构体（AVFilterGraph）

1 filter_graph = avfilter_graph_alloc();

解析字符串，并构建该字符串所描述的滤波图

1 avfilter_graph_parse2(filter_graph, graph_desc, &inputs, &outputs);

其中inputs与outputs分别为输⼊与输出的接⼝集合，我们需要为这些接⼝接上输⼊以及输出。

1 for (cur = inputs, i = 0; cur; cur = cur->next, i++) {
2   const AVFilter *buffersrc = avfilter_get_by_name("buffer");
3   avfilter_graph_create_filter(&filter, buffersrc, name, args, NULL, filter_graph);
4   avfilter_link(filter, 0, cur->filter_ctx, cur->pad_idx);
5 }
6 avfilter_inout_free(&inputs);
7
8 for (cur = outputs, i = 0; cur; cur = cur->next, i++) {
9 const AVFilter *buffersink = avfilter_get_by_name("buffersink");
10 avfilter_graph_create_filter(&filter, buffersink, name, NULL, NULL, filter_graph);
11 avfilter_link(cur->filter_ctx, cur->pad_idx, filter, 0);
12 }
13 avfilter_inout_free(&outputs);

提交整个滤波图

1 avfilter_graph_config(filter_graph, NULL);

6 滤波API

上⾯主要讨论了如何创建滤波过程，不过要进⾏滤波还需要把帧传输进⼊该过程，并在滤波完成后从该过程中提取出滤波完成的帧。

buffersrc提供了向滤波过程输⼊帧的API：av_buffersrc_add_frame。向指定的buffersrc实例输⼊

想要进⾏滤波的帧就可以把帧传⼊滤波过程。

1 av_buffersrc_add_frame(c->in_filter, pFrame);

buffersink提供了从滤波过程提取帧的API：av_buffersink_get_frame。可以从指定的buffersink实

例提取滤波完成的帧。

1 av_buffersink_get_frame(c->out_filter, pFrame);

当av_buffersink_get_frame返回值⼤于0则表示提取成功。