Android 播放器渲染一帧图像

2017-07-01 本文已影响238人 TinyTina

先简单的介绍一下MediaCodec API，不过需要好好研究学习一番，它涉及解码播放的方方面面。下面的2个图能给我们清晰的认识。

MediaCodec 在API level 16 configure Surface 后解码播放的过程中运用的MediaCodec 接口
数据输入接口:

getInputBuffers
int dequeueInputBuffer (long timeoutUs)
[queueInputBuffer](https://developer.android.com/reference/android/media/MediaCodec.html#queueInputBuffer(int, int, int, long, int))(int index, int offset, int size, long presentationTimeUs, int flags)

获取解码后的数据:

视频渲染：

备注1:ijkyuv库其实是 libyuv 用于各种YUV/RGB格式直接转换。远比FFmpeg 中的 libswscale 提供的效率高。
备注2:MediaCodecDummy 虚拟硬件解码器在Android 播放器音视频同步机制说明。

解码入队列
函数 amc_fill_frame
解码线程中 video_thread(ff_video_dec)调用函数drain_output_buffer 获取解码后的信息后调用函数
static int amc_fill_frame( IJKFF_Pipenode *node, AVFrame *frame, int *got_frame, int output_buffer_index, int acodec_serial, SDL_AMediaCodecBufferInfo *buffer_info)
填充了当前帧的基本数据，PTS、width、height、以及 MediaCodec dequeueOutputBuffer 返回索引值等等，这里的 AVFrame* frame 并没有申请解码后数据的缓冲区。
最后调用queue_picture 把填充好的AVFrame数据入队列。
出队列渲染 video_refresh_thread(ff_vout) 视频渲染线程(音视频同步)调用SDL_VoutDisplayYUVOverlay 然后调用SDL_VoutOverlayAMediaCodec_releaseFrame_l最终直接调用[releaseOutputBuffer](https://developer.android.com/reference/android/media/MediaCodec.html#releaseOutputBuffer(int, boolean))(int index, boolean render) 视频渲染

解码入队列
出队列渲染 video_refresh_thread(ff_vout) 视频渲染线程(音视频同步)调用SDL_VoutDisplayYUVOverlay 然后调用 func_display_overlay_l 然后根据配置选择ANativeWindow / OpenGL ES

1、ANativeWindow Copy机制
备注:ANativeWindow 也可以直接支持YUV(HAL_PIXEL_FORMAT_YV12)格式的copy 的。渲染线程调用SDL_Android_NativeWindow_display_l 渲染步骤：

2、OpenGL ES
渲染线程调用 IJK_EGL_display