MobileVLCKit源码学习之硬解码

问题

从vlc源码包里可以发现有个modules/codec/videotoolbox.m,可以看出确实有videotoolbox相关源码，但是是否只支持Mac版本还是iOS版本也支持，是否硬编解码都支持呢？(怀疑来源1.官方只说了支持编码，怀疑来源2：ffmpeg也有videotoolbox相关源码，但是不支持iOS硬解码)。
所以需要调试跟踪来验证此问题

验证

验证1

1. 其实从CPU利用率可以看出来，播放同一个mp4视频，查看CPU利用率，会有明显不同。这个可以下载MobileVLCKit较早版本，跟自己编译出来的最新版本(我的是258f1dd2)对比，即可看出来新版确实使用了硬解码。
2. VLC官方论坛也说了2.7之后，默认开启硬解码。

验证2

对源码调试
我们知道，vlc里解码器是作为一个module存在的，在modules.c的vlc_module_load里打上断点，可以查看所有modules加载，当capability为decoder时候，就是要选择解码器了

modules_c.png

源码有删减

module_t *vlc_module_load(vlc_object_t *obj, const char *capability,
                          const char *name, bool strict,
                          vlc_activate_t probe, ...)
{
    char *var = NULL;

    if (name == NULL || name[0] == '\0')
        name = "any";

    /* Deal with variables */
    if (name[0] == '$')
    {
        var = var_InheritString (obj, name + 1);
        name = (var != NULL) ? var : "any";
    }

    /* Find matching modules */
    module_t **mods;
    ssize_t total = module_list_cap (&mods, capability);

    msg_Dbg (obj, "looking for %s module matching \"%s\": %zd candidates",
             capability, name, total);
    if (total <= 0)
    {
        module_list_free (mods);
        msg_Dbg (obj, "no %s modules", capability);
        return NULL;
    }

    module_t *module = NULL;
    const bool b_force_backup = obj->obj.force; /* FIXME: remove this */
    va_list args;

    va_start(args, probe);
...
done:
    va_end (args);
    obj->obj.force = b_force_backup;
    module_list_free (mods);
    free (var);

    if (module != NULL)
    {
        msg_Dbg (obj, "using %s module \"%s\"", capability,
                 module_get_object (module));
        vlc_object_set_name (obj, module_get_object (module));
    }
    else
        msg_Dbg (obj, "no %s modules matched", capability);
    return module;
}

在vlc_object_set_name一行打断点，单步跟进，可以看到解码器名称为VideoToolbox video decoder

modules_c1.png

打开modules/codec/videotoolbox.m，可以再77行看到，名称一致也就是硬解码被加载了

vlc_module_begin()
set_category(CAT_INPUT)
set_subcategory(SUBCAT_INPUT_VCODEC)
set_description(N_("VideoToolbox video decoder"))
set_capability("decoder",800)
set_callbacks(OpenDecoder, CloseDecoder)

调试验证

参照iOS学习开源库断点方法,查找videotoolbox.m的调用,突破口在decoder.c的DecoderDecodeVideo.

我用的方法是:

1. 在decoder.c的DecoderThread里打断点，因为这是解码线程死循环
2. 具体是DecoderProcess起作用，在这一行打断点
3. 取消断点等界面出现画面时候，把断点点上。
4. 找到了突破口DecoderDecodeVideo。
   源码如下:

static void DecoderDecodeVideo( decoder_t *p_dec, block_t *p_block )
{
    picture_t      *p_pic;
    block_t **pp_block = p_block ? &p_block : NULL;
    unsigned i_lost = 0, i_decoded = 0;

    while( (p_pic = p_dec->pf_decode_video( p_dec, pp_block ) ) )
    {
        i_decoded++;

        DecoderPlayVideo( p_dec, p_pic, &i_lost );
    }

    DecoderUpdateStatVideo( p_dec, i_decoded, i_lost );
}

其中的p_dec代表解码器对象，其实就是videotoolbox对象，pf_decode_video代表videotoolbox的DecodeBlock.