Mediacodec学习(EXOPlayer分析)
Mediacodec学习第一篇 -- EXOPlayer
1 学习前准备及关键问题思考
- 视频流硬解(至少自己完成本地视频的视频流硬解代码实现)
- 音频硬解(至少自己完成完成本地视频的音频硬解代码实现)
- 如何保证硬解情况下音视频同步
- 应对网络视频流的硬解方案
- MediaCodec的播控及播控状态机

2 源码分析
1.从应用层由上而下分析

library是google ExoPlalyer核心库文件,可基于该SDK快速的完成二次开发。demo是基于该library的官方应用,告诉开发人员如何在自己应用中使用ExoPlalyer SDK。
由于个人开发习惯,所有源码放在了Source Insight中来方案查看

demo中SampleChooserActivity.java基于两种启动方式,播放本地视频的URL和基于解析asset目录下media.exolist.json来测试播放网络视频流的硬解(网络视频流的硬解后面再作分析),在SampleChooserActivity.java中创建出视频列表,初始化事件响应,当选择播放某个视频时调用PlayerActivity.java:


在PlayerActivity生命周期onResume时,初始化播放器initializePlayer()





在MediaCodecRenderer中开始看到框架已经涉及到Android 的MediaCodec实例了。
核心类ExoPlayerImpl:
'player = new ExoPlayerImpl(renderers, trackSelector, loadControl);'
核心类ExoPlayerImplInternal:
'internalPlayer = new ExoPlayerImplInternal(renderers, trackSelector, loadControl, playWhenReady, eventHandler, playbackInfo, this);'

以HLS文件为例:

播放资源处理完毕,播放器进入prepare阶段:

核心类ExoPlayerImplInternal消息处理:


注意在此阶段MediaSource对播放资源prepare:
如果是HLS资源则对应之前分析的HLSMediaSource:



HlsPlaylistParser实现了对HLS数据包报文解析;



Year~ 看到线程去处理HLS数据包了。


在ParsingLoadable的load方法可以看到和前面分析的DataSource流程关联起来了,可以再根据之前分析的DataSource类图看看都做了什么处理。
以HttpDataSource为例来说open阶段处理http交互:


这样就完成了http基本请求。那open成功最终获得了什么?

继续返回ParsingLoadable::load方法中,open完成后ParsingLoadable::Parser完成数据解析,下面以HLS为例(可以返回MediaSource的类图中看看HlsPlaylistParser,它是ParsingLoadable::Parser的实现类)

再回到Loader的run()方法中,loadable.load()后通过发送MSG_END_OF_SOURCE的消息回调给调用者


loadable.getResult()则就是HlsPlaylistParser::parser的结果。
ExoPlayerImplInternal::prepareInternal最后发送MSG_DO_SOME_WORK的消息。

在MSG_DO_SOME_WORK消息处理中:renderer::render

MediaCodecRenderer:maybeInitCodec来初始化和配置MediaCodec

render中的核心方法:drainOutputBuffer、feedInputBuffer



BaseRenderer::readSource把网络数据读取到DecoderInputBuffer中。

当drainOutputBuffer的数据渲染结束后通过feedInputBuffer来填充数据区
注意在feedInputBuffer实现中先通过dequeueInputBuffer获得当前inputBuffer有效的索引值,然后通过readSource获取资源数据填充到索引值对应的buffer中,最后通过queueInputBuffer在通知MediaCodec索引值对应区的buffer已经处理好了,完成了渲染数据的准备。
而在ExoPlayerImplInternal::doSomeWork中通过render:render调用dequeueOutputBuffer,最终调用releaseOutputBuffer释放outBuffer完成解码,再通过ExoPlayerImplInternal::scheduleNextWork不断的消息回调到doSomeWork继续接收数据和解码数据直到操作终止。

关于MediaCodec需要重点理解的几个方法:
dequeueInputBuffer
queueInputBuffer
dequeueOutputBuffer
releaseOutputBuffer
第一阶段先分析到此处,还没来得及细致的分析音视频同步,后续会分析更新,按计划下一阶段会结合VLC-Android对rtsp及组播方案的支持扩展EXOPlayer并陆续更新文章。