#《FFMPEG》 学习 第一章
##初始化
```
av_register_all 编解码初始化函数，此函数无参数返回
avcodec_register_all 编码、解析器初始化
avformat_network_init 网络编码初始化，如rtp，udp等协议读取视频信息
avformat_network_deinit 与上面相对立，撤销所有网络初始化
avfilter_register_all 所有滤镜重置<对应 avfilter_uninit>
av_register_input_format 针对AVInputFormat输入的视频信息存储的结构体对象
av_register_output_format 针对AVInputFormat输出的视频信息存储的结构体对象
#注意：ffmpeg所有返回类型小于0是错误，大于等于0表示正确
```
##打开网络(本地)文件
```
AVFormatContext
官网定义为（Format I/O context），一个可视为读取文件的内容存储器。初始化调用avformat_alloc_context()。此结构类型中存储有AVInputFormat和AVOutputFormat两个结构体，分别是解码和编码对应的格式信息。视频存储内容(文件的buffer)存储在priv_data对象中，解码调用avformat_write_header()函数会往里面写入数据，而编码则是avformat_open_input();
#从文件名读取相关信息，返回0是成功读取；文件可以是网络存储也可以是本地存储文件的绝对路径。
// open format context
AVFormatContext* ifmt_ctx = NULL;
if(avformat_open_input(&ifmt_ctx, fileName, NULL, NULL) != 0){
return -1;
}
#如果打开文件成功，从formatContext中读取视频流数据。如mpegts的视频包数据是没有视频头信息的，所有无法读到相关信息，需要注意。如果需要查找制定的流数据，使用av_find_program_from_stream。
// find stream info
if(avformat_find_stream_info(ifmt_ctx, NULL) < 0){
return -1;
}
#获取到流信息之后，我们就可以开始解码了;遍历ifmt_ctx中的所有可用流数据，从中找到编码格式是视频之后，记录当前对应的视频流编码的index值。如果有音频，同样的写法，将编码类型改为AVMEDIA_TYPE_AUDIO。
int videoindex = -1;
for(i = 0; i < ifmt_ctx->nb_streams; i ++)
if(ifmt_ctx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO){
videoindex = i;
break;
}
到此videoindex不等于-1，无论是音频还是视频都是说明文件是可用的。
```
##解码
```
AVCodecContext
这是个结构体，记录视频的编码信息，如视频对应的格式，像素大小，尺寸等等。
// 读取视频的编码信息
AVCodecContext *codecContext = ifmt_ctx->streams[i]->codec;
// 例子
* avcodec_register_all();
* av_dict_set(&opts, "b", "2.5M", 0);
* codec = avcodec_find_decoder(AV_CODEC_ID_H264);
* if (!codec)
* exit(1);
// 找到解码器，从对应的码流类型中
AVCodec *codec = avcodec_find_decoder(codecContext->codec_id);
// 打开解码器，才能进行解码；如果已知解码的码流是h264数据，可用自动创建，调用avcodec_find_decoder_by_name()或avcodec_find_decoder(AV_CODEC_ID_H264)；
avcodec_open2(codecContext, codec,NULL)；
// pframe是我们最后解出来的数据，packet是对应的解码时间戳和编码时间戳和对应frame时长；
AVFrame *pFrame = av_frame_alloc();
AVPacket *packet = (AVPacket *)av_malloc(sizeof(AVPacket));
while(av_read_frame(ifmt_ctx, packet) >= 0){
// 对应的视频流记录的index值
if(packet->stream_index == videoindex){
// decode 解码， pFrame即为所需要的数据
avcodec_decode_video2(codecContext, pFrame, &got_picture, packet);
}
}
```
##截图
```
struct SwsContext *img_convert_ctx;
// 设定内容及相关格式，对应的像素
img_convert_ctx = sws_getContext(pCodecCtx->width,
pCodecCtx->height,
pCodecCtx->pix_fmt,
pCodecCtx->width,
pCodecCtx->height,
AV_PIX_FMT_YUV420P,
SWS_BICUBIC,
NULL,
NULL,
NULL);
// 内容填充
sws_scale(img_convert_ctx,
(const uint8_t* const*)pFrame->data,
pFrame->linesize,
0,
pCodecCtx->height,
pFrameYUV->data,
pFrameYUV->linesize);
```
##滤镜
滤镜可以实现链表连接，进行多个设置，下面是我做的完整的滤镜初始化到使用的场景
```
int gp_image_create(AVFilterGraph *filterGraph, AVCodecContext *codecContext, AVFilterContext *src_filter_context, AVFilterContext *sink_filter_context, gp_filter_type type){
avfilter_register_all();
int ret = 0;
char args[512];
// 创建水印的滤镜，根据名称查找对应的水印
AVFilter *src_filter = avfilter_get_by_name("buffer");
AVFilter *sink_filter = avfilter_get_by_name("buffersink");
/* 输入或输出的过滤链 */
AVFilterInOut *outputs = avfilter_inout_alloc();
AVFilterInOut *inputs = avfilter_inout_alloc();
// 像素格式，yuv420
enum AVPixelFormat pix_formats[] = { AV_PIX_FMT_YUV420P, AV_PIX_FMT_NONE };
// 初始化过滤器图形
filterGraph = avfilter_graph_alloc();
// 是否初始化成功
if (!outputs || !inputs || !filterGraph) {
perror(">>>>>>>>>>>>> 初始化失败 \n");
goto end;
}
/* buffer video source: the decoded frames from the decoder will be inserted here. */
snprintf(args, sizeof(args), "video_size=%dx%d:pix_fmt=%d:time_base=%d/%d:pixel_aspect=%d/%d",
codecContext->width, codecContext->height, codecContext->pix_fmt,
codecContext->time_base.num, codecContext->time_base.den,
codecContext->sample_aspect_ratio.num, codecContext->sample_aspect_ratio.den);
// 创建和添加过滤器实例到现有的图形,输入
ret = avfilter_graph_create_filter(&src_filter_context, src_filter, "in", args, NULL, filterGraph);
if (ret < 0) {
perror(">>>>>>>>>>>>> 无法创建过滤器的图形 \n");
goto end;
}
// 创建和添加过滤器实例到现有的图形，输出
ret = avfilter_graph_create_filter(&sink_filter_context, sink_filter, "out", NULL, NULL, filterGraph);
if (ret < 0) {
perror(">>>>>>>>>>>>> 无法创建过滤器的图形 \n");
goto end;
}
// Set a binary option to an integer list. 从证书列表中查找flag选项，得到视频像素格式
ret = av_opt_set_int_list(sink_filter_context, "pix_fmts", pix_formats, AV_PIX_FMT_NONE, AV_OPT_SEARCH_CHILDREN);
if (ret < 0) {
perror(">>>>>>>>>>>> 不能设置输出的像素格式 \n");
goto end;
}
// 过滤graph的终点
outputs->name = av_strdup("in");
outputs->filter_ctx = src_filter_context;
outputs->pad_idx = 0;
outputs->next = NULL;
inputs->name = av_strdup("out");
inputs->filter_ctx = sink_filter_context;
inputs->pad_idx = 0;
inputs->next = NULL;
// 将filters描述读取成图像信息
ret = avfilter_graph_parse_ptr(filterGraph, gp_filter_description(type), &inputs, &outputs, NULL);
if (ret < 0) {
perror(">>>>>>>>>>>> 不能从描述信息中读取图形, 更正描述信息 ");
printf("description = %s \n",gp_filter_description(type));
goto end;
}
// 检查有效性，并配置所有的链接和格式的图形
ret = avfilter_graph_config(filterGraph, NULL);
if (ret < 0) {
perror(">>>>>>>>>>> 图形无效 \n");
goto end;
}
#if 此处为解码处帧并对帧处理后得到新的帧数据即为过滤后的数据
AVFrame *frame = av_frame_alloc();
AVFrame *newFrame = av_frame_alloc();
// 向缓冲区加入一帧数据
ret = av_buffersrc_add_frame_flags(buffersrc_ctx, frame, AV_BUFFERSRC_FLAG_KEEP_REF);
// 从缓冲区获取输出的一帧数据 newFrame即为过滤后的视频帧数据
ret = av_buffersink_get_frame(buffersink_ctx, newFrame);
#endif
return 0;
end:
avfilter_inout_free(&inputs);
avfilter_inout_free(&outputs);
if (filterGraph != NULL) avfilter_graph_free(&filterGraph);
return -1;
}
```
##水印
```
AVFilterContext *gp_overlay_create(AVFilterGraph *filterGraph){
int ret = 0;
AVDictionary *overlayOptions;
// 创建水印的滤镜，根据名称查找对应的水印
AVFilter *overlayFilter = avfilter_get_by_name("overlay");
// 可视为水印的实例对象，用于管理overlayFilter <创建一个新的过滤器实例>
AVFilterContext *overlayContext = avfilter_graph_alloc_filter(filterGraph, overlayFilter, "overlay");
// 是否创建成功
if (!overlayContext){
perror(">>>>>>>>>>> 创建滤镜失败 \n");
return NULL;
}
// 设置位置 x轴,y轴
av_dict_set(&overlayOptions, "x", "0", 0);
av_dict_set(&overlayOptions, "y", "0", 0);
// main是主滤镜，可以当做是背板之上的，前景之下的；overlay可以当做是背板
av_dict_set(&overlayOptions, "main_w", "100", 0);
av_dict_set(&overlayOptions, "main_h", "100", 0);
// 设置水印的覆盖范围
av_dict_set(&overlayOptions, "overlay_w", "120", 0);
av_dict_set(&overlayOptions, "overlay_h", "120", 0);
// 根据可选参数初始化过滤器实例
ret = avfilter_init_dict(overlayContext, &overlayOptions);
if (ret < 0) {
perror(">>>>>>>>>>> 初始化过滤器实例出错 \n");
return NULL;
}
// 释放可选参数容器
av_dict_free(&overlayOptions);
// 过滤器是可以多个进行链接的，可调用下面函数将水印的滤镜添加到目标滤镜上,将两个过滤器连接到一起； 默认设置0 index of input pad
//avfilter_link(overlayContext, 0, <#AVFilterContext *dst#>, 0);
/*
// connect inputs and outputs
if (err >= 0) err = avfilter_link(buffersrc_ctx, 0, filter_ctx, 0);
if (err >= 0) err = avfilter_link(filter_ctx, 0, buffersink_ctx, 0);
if (err < 0) {
av_log(NULL, AV_LOG_ERROR, "error connecting filters\n");
return err;
}
err = avfilter_graph_config(filter_graph, NULL);
*/
return overlayContext;
}
```
