ffmpeg_sample解读_extract_mvs

title: ffmpeg_sample解读_extract_mvs
date: 2020-10-28 10:15:02
tags: [读书笔记]
typora-copy-images-to: ./imgs
typora-root-url: ./imgs

总结

这个是获取帧的运动矢量数据.输出如下

framenum,source,blockw,blockh,srcx,srcy,dstx,dsty,flags
2,-1,16,16,   8,   8,   8,   8,0x

流程图如下.这个也比较简单.自己不写了

代码

#include <libavutil/motion_vector.h>
#include <libavformat/avformat.h>
#include "../macro.h"

static AVFormatContext *fmt_ctx = NULL;
static AVCodecContext *video_dec_ctx = NULL;
static AVStream *video_stream = NULL;
static const char *src_filename = NULL;

static int video_stream_idx = -1;
static AVFrame *frame = NULL;
static int video_frame_count = 0;

static int decode_packet(const AVPacket *pkt) {
    //数据送到解码器中
    int ret = avcodec_send_packet(video_dec_ctx, pkt);
    if (ret < 0) {
        LOGE("Error while sending a packet to the decoder: %s\n", av_err2str(ret));
        return ret;
    }

    while (ret >= 0) {
        //从解码器中读取解码后的视频帧
        ret = avcodec_receive_frame(video_dec_ctx, frame);
        if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {
            break;
        } else if (ret < 0) {
            LOGE("Error while receiving a frame from the decoder: %s\n",
                 av_err2str(ret));
            return ret;
        }

        if (ret >= 0) {
            int i;
            AVFrameSideData *sd;

            video_frame_count++;
            //获取运动矢量数据
            sd = av_frame_get_side_data(frame, AV_FRAME_DATA_MOTION_VECTORS);
            if (sd) {
                //av运动矢量 应该是拿到帧里的额外数据
                const AVMotionVector *mvs = (const AVMotionVector *) sd->data;
                for (i = 0; i < sd->size / sizeof(*mvs); i++) {
                    const AVMotionVector *mv = &mvs[i];
                    LOGE("%d,%2d,%2d,%2d,%4d,%4d,%4d,%4d,0x%"PRIx64"\n",
                         video_frame_count, mv->source,
                         mv->w, mv->h, mv->src_x, mv->src_y,
                         mv->dst_x, mv->dst_y, mv->flags);
                }
            }
            av_frame_unref(frame);
        }
    }

    return 0;
}

/**
 * 根据格式上下文,初始化解码器,初始化解码器上下文
 * @param fmt_ctx
 * @param type
 * @return
 */
static int open_codec_context(AVFormatContext *fmt_ctx, enum AVMediaType type) {
    int ret;
    AVStream *st;
    AVCodecContext *dec_ctx = NULL;
    AVCodec *dec = NULL;
    AVDictionary *opts = NULL;
    //找到视频流的信息.根据type格式.找到默认编解码器,在找到流信息,返回的是流索引
    //这里初始化了解码器
    ret = av_find_best_stream(fmt_ctx, type, -1, -1, &dec, 0);
    if (ret < 0) {
        LOGE("Could not find %s stream in input file '%s'\n",
             av_get_media_type_string(type), src_filename);
        return ret;
    } else {
        int stream_idx = ret;
        //找到流信息
        st = fmt_ctx->streams[stream_idx];
        //分配解码器上下文控件.这里的dec是都是默认参数
        dec_ctx = avcodec_alloc_context3(dec);
        if (!dec_ctx) {
            LOGE("Failed to allocate codec\n");
            return AVERROR(EINVAL);
        }
        // 用视频流的解码参数初始化解码器上下文.
        ret = avcodec_parameters_to_context(dec_ctx, st->codecpar);
        if (ret < 0) {
            LOGE("Failed to copy codec parameters to codec context\n");
            return ret;
        }

        /* Init the video decoder */
        //初始化解码器上下文,设置额外参数. 解码器上下文需要用解码器来设置参数.
        av_dict_set(&opts, "flags2", "+export_mvs", 0);
        if ((ret = avcodec_open2(dec_ctx, dec, &opts)) < 0) {
            LOGE("Failed to open %s codec\n",
                 av_get_media_type_string(type));
            return ret;
        }

        //保存流索引.流.和解码器上下文.
        video_stream_idx = stream_idx;
        video_stream = fmt_ctx->streams[video_stream_idx];
        video_dec_ctx = dec_ctx;
    }

    return 0;
}

/**
 * 最后的输出
 * framenum,source,blockw,blockh,srcx,srcy,dstx,dsty,flags
2,-1,16,16,   8,   8,   8,   8,0x0
 * @param argc
 * @param argv
 * @return
 * 打开解码器的时候设置参数：av_dict_set(&opts, "flags2", "+export_mvs", 0)。
使用av_frame_get_side_data(frame, AV_FRAME_DATA_MOTION_VECTORS)来获取解码frame中的运动矢量。
av_frame_get_side_data返回的数据类型为AVFrameSideData*，AVFrameSideData定义在libavutil/frame.h

作者：smallest_one
链接：https://www.jianshu.com/p/1ca719f5ff0a
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
 */
int extract_mvs_main(int argc, char **argv) {
    int ret = 0;
    AVPacket pkt = {0};

    if (argc != 2) {
        LOGE("Usage: %s <video>\n", argv[0]);
        exit(1);
    }
    src_filename = argv[1];

    //打开文件.填充格式上下文
    if (avformat_open_input(&fmt_ctx, src_filename, NULL, NULL) < 0) {
        LOGE("Could not open source file %s\n", src_filename);
        exit(1);
    }
// 从文件中读取流信息
    if (avformat_find_stream_info(fmt_ctx, NULL) < 0) {
        LOGE("Could not find stream information\n");
        exit(1);
    }

    //初始化解码器上下文
    open_codec_context(fmt_ctx, AVMEDIA_TYPE_VIDEO);
//打印文件的格式信息
    av_dump_format(fmt_ctx, 0, src_filename, 0);

    if (!video_stream) {
        LOGE("Could not find video stream in the input, aborting\n");
        ret = 1;
        goto end;
    }
//分配原生数据在
    frame = av_frame_alloc();
    if (!frame) {
        LOGE("Could not allocate frame\n");
        ret = AVERROR(ENOMEM);
        goto end;
    }

    LOGE("framenum,source,blockw,blockh,srcx,srcy,dstx,dsty,flags\n");

    /* read frames from the file */
    //从文件中读取packet 原生数据.然后解码
    while (av_read_frame(fmt_ctx, &pkt) >= 0) {
        if (pkt.stream_index == video_stream_idx)
            //解码原生数据
            ret = decode_packet(&pkt);
        av_packet_unref(&pkt);
        if (ret < 0)
            break;
    }
//刷新解码器.把所有packet 都解码
    /* flush cached frames */
    decode_packet(NULL);

    end:
    avcodec_free_context(&video_dec_ctx);
    avformat_close_input(&fmt_ctx);
    av_frame_free(&frame);
    return ret < 0;
}