多媒体开发（4）：滤镜，在视频上显示文字或图片

小白：我录了段视频，里面用的音乐是有版权的，而且快过期了，能把音乐去掉吗？

小程拿到视频后，一个快捷键打开命令终端，快速打下一行命令：

ffmpeg -i 小白.flv -vcodec copy -an -f mp4 quiet.mp4

一个只有视频图像的文件就诞生了。

声画分离，这当然只是ffmpeg命令的一个应用场景。

那么，FFmpeg是什么呢？

来看看百度百科的解释：

FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。采用LGPL或GPL许可证。它提供了录制、转换以及流化音视频的完整解决方案。它包含了非常先进的音频/视频编解码库libavcodec，为了保证高可移植性和编解码质量，libavcodec里很多code都是从头开发的。

FFmpeg在Linux平台下开发，但它同样也可以在其它操作系统环境中编译运行，包括Windows、Mac OS X等。这个项目最早由Fabrice Bellard发起，2004年至2015年间由Michael Niedermayer主要负责维护。许多FFmpeg的开发人员都来自MPlayer项目，而且当前FFmpeg也是放在MPlayer项目组的服务器上。项目的名称来自MPEG视频编码标准，前面的"FF"代表"Fast Forward"。

小程用自己的话，再来翻译一下：

FFmpeg是一个开源项目，一直有人在加新功能、优化、改bug。这个项目，可以进行音视频的录制、编码、流化、解码、效果处理、重采样等一系列的操作......

基本上，有音视频功能的应用，都跟FFmpeg扯上关系，比如暴风影音、QQ影音、mplayer、格式工厂等等。

小白：我可不管谁在用，我只要自己能用就行。

小程：那FFmpeg的开源协议LGPL跟耻辱柱，你也不想听了？

小白：LGPL？老公漂亮？

开源项目都制定自己的开源协议，这里小程不再细说了，读者觉得有必要的话可以去搜索了解。

本文的重点在于，介绍如何使用ffmpeg命令，实现一些常用的音视频操作功能，比如在视频上添加文字或水印。 关于FFmpeg的更多知识，小程会在后续的文章中介绍，欢迎读者关注“广州小程”微信公众号以获取内容更新。

小程的开发环境是mac，以下的介绍都默认在mac系统上操作，但FFmpeg命令基本是平台无差别的。

生成FFmpeg程序有两个办法，一个是使用源码编译生成，另一个是直接安装，小程分别介绍这两种方法。

（一）源码编译出FFmpeg，并实现水印添加

这个办法是下载FFmpeg源码下来，再编译生成FFmpeg程序。如果想使用FFmpeg来组装自己的程序，这个办法是必经之路。

小程这里介绍怎么用ffmepg命令来给视频添加文字或水印，为了实现这个功能，在编译FFmpeg时需要增加特定的参数设置。由此可见，为了满足不同的需求，可以调整编译FFmpeg的编译选项。

小白：把文字写到视频上？还不简单，你要什么颜色，我有彩色笔。

小程：我是说，在视频帧上加入文字，不是让你在屏幕上画个大叉！

在视频帧上加入文字，可选择的办法有几个，比如可以找一找“编辑视频加广告”、或视频大师之类的工具，也可以写程序来实现（比如提取出所有帧，再对图片处理，再整合所有图片），这里介绍的是直接用ffmpeg命令来实现。

这时，需要使用FFmpeg的drawtext滤镜来实现添加字幕。

滤镜，可以理解为视频的编辑功能，是FFmpeg强大的功能之一。

先下载FFmpeg的源码：

git clone git://source.ffmpeg.org/ffmpeg.git FFmpeg

在FFmpeg目录下面，可以看到FFmpeg的编译配置程序configure。

（1）支持滤镜filter

要保证ffmpeg程序支持filter，否则ffmpeg在使用drawtext时，会看到这样的提示：

找不到drawtext滤镜

这时，查看FFmpeg配置后（即执行./configure后）生成的头文件config.h（如果配置过就会有这个文件），可以看到：

#define CONFIG_DRAWTEXT_FILTER 0

这是还没有打开drawtext滤镜的表现。

那怎么样让ffmpeg程序支持filter呢？

首先，需要安装yasm，yasm是一个汇编编译器，小程会在FFmpeg编译给移动平台使用时再介绍一下：

brew install yasm

读者如何不了解brew的话，可以搜索homebrew进行了解。

安装yasm后，就可以配置FFmpeg，让它支持filter（drawtext依赖于libfreetype）：

./configure --enable-libfreetype --enable-avfilter

这时，在配置输出中（执行./configure），可以看到：

配置增加了drawtext

而此时，config.h中是这样：

#define CONFIG_DRAWTEXT_FILTER 1

接着，编译出ffmpeg工具即可：

make

小程不建议执行make install来安装到系统，因为在介绍第二种安装ffmpeg程序的办法时，会给系统安装一个ffmpeg。所以，只执行make在当前目录生成ffmpeg即可。

查一下ffmpeg程序，有没有支持到drawtext滤镜：

./ffmpeg -filters

可以看到，已经有这一项：

是否支持了drawtext

（2）使用drawtext滤镜

以一个视频为例，在没有加字幕前，这个视频是这样的：

演示视频

使用ffmpeg命令，这样加上字幕：

左右滚动的字幕：
./ffmpeg -i ~/Desktop/hello.mp4 -b:v 500K -vf drawtext="fontfile=/Library/Fonts/YaHei.Consolas.1.11b.ttf:fontcolor=0xaaff00:fontsize=18:shadowy=0:\x='if(gte(t,2), (main_w-mod(t*50,main_w)), NAN)':y=(main_h-line_h-10):text='关注广州小程，提升专业技能。'" hello.mp4

固定位置的字幕（这里加了两行）：
./ffmpeg -i ~/Desktop/hello.mp4 -b:v 500K -vf "drawtext=fontfile=/Library/Fonts/华文黑体.ttf:fontcolor=yellow:fontsize=20:shadowy=0:x=(w-tw)/2-30:y=(main_h-line_h-50):text="关注广州小程",drawtext=fontfile=/Library/Fonts/YaHei.Consolas.1.11b.ttf:fontcolor=0xaaff00:fontsize=18:shadowy=0:x=(w-tw)/2-30:y=(main_h-line_h-20):text='提升专业技能'" hello1.mp4

把上面加了字幕的mp4文件，转换成gif（因为很多网站支持gif上传而不支持视频），比如：

./ffmpeg -i hello.mp4 -b:v 10K -s 200x200 hello.gif

然后看一下这两个效果，一个是滚动文字，另一个是固定文字：

滚动文字的演示效果
滚动文字的演示效果

小程简单讲解一下命令中的参数，请参考下图的注解：

drawtext命令的参数

另外注意一下，x与y参数指定了位置，是可以变化的值；

如果需要输出多行文字，则可以使用多个drawtext字段;

如果觉得文字的颜色不好调整，那可以考虑给文字加上背景框，试一下这些参数：

box --是否使用背景框，默认为0
boxcolor --背景框的颜色
borderw --背景框的阴影，默认为0
bordercolor --背景框阴影的颜色

以上在视频上绘制字幕，如果想在视频上绘制图片，包括动态的gif图，怎么处理呢？

视频添加图片：

./ffmpeg -i ~/Desktop/2.mp4 -acodec copy -b:v 800K -vf "movie=in.png[watermark];[in][watermark]overlay=main_w-100:main_h-100[out]" out4-1.mp4

movie --水印图片
overlay --三个参数，[距视频原图左边的距离，距上边的距离，是否透明]，对于视频，最后一个参数不能使用

视频添加动态水印（gif）：

./ffmpeg -y -i ~/Desktop/v.mp4 -ignore_loop 0 -i hello.gif -ss 0 -t 9 -filter_complex overlay=main_w-138:0:1 v-3.mp4

如果读者是在公众号（广州小程）上看到这篇文章的，那可以看一下小程上传的mp4文件，演示了视频添加gif图的效果。

至此，小程介绍了如何在视频上添加文字、图片及gif动态水印。

接着介绍的是直接安装FFmpeg的办法。

（二）直接安装FFmpeg，并做一些常规操作

直接安装FFmpeg库，比如在mac机上，直接用brew来安装。

这样安装FFmpeg：

sudo brew link x264
brew install ffmpeg

如果之前已经安装过FFmpeg，那要留意提示，是否新安装的FFmpeg有link成功。如果没有成功也是可以使用的，只是要找对文件来运行。如果不想干扰到原来安装的ffmpeg，也可以起个别名来使用，比如新安装目录是：/usr/local/Cellar/ffmpeg/2.6.2/bin，则在~/.bash_profile中增加一项：alias f26='/usr/local/Cellar/ffmpeg/2.6.2/bin/ffmpeg'，便可以使用f26来调动新安装的FFmpeg。

安装完成后，这样查看一下ffmpeg的信息：

brew info ffmpeg
或者：
ffmpeg -version

可以看到，默认安装下，已经支持lamemp3、x264、librtmp、fdk-aac第三方库等。

安装完ffmpeg，就可以做一些常规操作了。有什么常规操作呢，提取、合成、转码、录制，等等，这些操作都可以使用ffmpeg命令来完成。

那么问题就来了，这么多命令与参数，能记得住吗？

不能。所以一方面可以自行记录一些常用的命令，另一方面需要知道在哪里查看命令与参数。

所有命令与参数的使用都可以在这个地址查到：https://ffmpeg.org/ffmpeg.html，或者更具体一点的比如：https://ffmpeg.org/ffmpeg.html#Advanced-Audio-options。

小程在这里简单列举几个，读者应该根据自己的需求来查看适当的命令。

提取视频流：
ffmpeg -i xx.flv -vcodec copy -an output.h264

提取音频流：
ffmpeg -i fx_flash22298734.flv -acodec copy -vn audio.aac

提取音轨（音频流）：
ffmpeg -i 后来_MQ.m4a -map 0:0 0.wav
ffmpeg -i 后来_MQ.m4a -map 0:1 1.wav

提取声道：
ffmpeg -i "TFBOYS - 是你.mp3" -map_channel 0.0.0 1.aac -map_channel 0.0.1 2.aac

合成音频与视频：
ffmpeg -i 1.mp4 -i 1.wav -vcodec copy mix_test.mp4

转码：
ffmpeg -i 22298734.flv -vcodec mpeg4 -s 320*240 -an -f m4v test.mp4

保存rtmp流在本地：
ffmpeg -i "rtmp://xxx.com/live/hks live=1" -vcodec copy -acodec copy out.flv

以上介绍了直接安装FFmpeg，并使用ffmpeg命令的内容。

---

总结一下，本文介绍了如何生成ffmpeg命令程序的办法，包括通过源码编译与直接安装的办法。同时，也演示了使用ffmpeg命令来给视频添加字幕或图像（包括动态图像）的操作，以及列举了可能常用的ffmpeg命令。