Mediacodec学习(EXOPlayer分析)
Mediacodec学习第一篇 -- EXOPlayer
1 学习前准备及关键问题思考
- 视频流硬解(至少自己完成本地视频的视频流硬解代码实现)
- 音频硬解(至少自己完成完成本地视频的音频硬解代码实现)
- 如何保证硬解情况下音视频同步
- 应对网络视频流的硬解方案
- MediaCodec的播控及播控状态机
![](https://img.haomeiwen.com/i3613947/70ffc67b98571e41.png)
2 源码分析
1.从应用层由上而下分析
![](http://upload-images.jianshu.io/upload_images/3613947-a5393d0aee2365ca.png)
library是google ExoPlalyer核心库文件,可基于该SDK快速的完成二次开发。demo是基于该library的官方应用,告诉开发人员如何在自己应用中使用ExoPlalyer SDK。
由于个人开发习惯,所有源码放在了Source Insight中来方案查看
![](http://upload-images.jianshu.io/upload_images/3613947-e9a88e0678d1896b.png)
demo中SampleChooserActivity.java基于两种启动方式,播放本地视频的URL和基于解析asset目录下media.exolist.json来测试播放网络视频流的硬解(网络视频流的硬解后面再作分析),在SampleChooserActivity.java中创建出视频列表,初始化事件响应,当选择播放某个视频时调用PlayerActivity.java:
![](http://upload-images.jianshu.io/upload_images/3613947-21e3d246f4fa6800.png)
![](http://upload-images.jianshu.io/upload_images/3613947-9e965cfa9ba29e09.png)
在PlayerActivity生命周期onResume时,初始化播放器initializePlayer()
![](http://upload-images.jianshu.io/upload_images/3613947-c881963345b36eb7.png)
![](http://upload-images.jianshu.io/upload_images/3613947-98ce282a5f9bd800.png)
![](http://upload-images.jianshu.io/upload_images/3613947-45304c2aa01feb52.png)
![](http://upload-images.jianshu.io/upload_images/3613947-17b2f31ef73fa180.png)
![](http://upload-images.jianshu.io/upload_images/3613947-e07fe184988507e4.png)
在MediaCodecRenderer中开始看到框架已经涉及到Android 的MediaCodec实例了。
核心类ExoPlayerImpl:
'player = new ExoPlayerImpl(renderers, trackSelector, loadControl);'
核心类ExoPlayerImplInternal:
'internalPlayer = new ExoPlayerImplInternal(renderers, trackSelector, loadControl, playWhenReady, eventHandler, playbackInfo, this);'
![](http://upload-images.jianshu.io/upload_images/3613947-bf64cf7e366883e9.png)
以HLS文件为例:
![](http://upload-images.jianshu.io/upload_images/3613947-5d3d156f5e8814bd.png)
播放资源处理完毕,播放器进入prepare阶段:
![](http://upload-images.jianshu.io/upload_images/3613947-45a523627c4771c6.png)
核心类ExoPlayerImplInternal消息处理:
![](http://upload-images.jianshu.io/upload_images/3613947-63e5796c3906b890.png)
![](http://upload-images.jianshu.io/upload_images/3613947-e472914337c6270f.png)
注意在此阶段MediaSource对播放资源prepare:
如果是HLS资源则对应之前分析的HLSMediaSource:
![](http://upload-images.jianshu.io/upload_images/3613947-8dd7f67b814c26a1.png)
![](http://upload-images.jianshu.io/upload_images/3613947-2843f04c0e03b08c.png)
![](http://upload-images.jianshu.io/upload_images/3613947-5b45d6f7c198bd50.png)
HlsPlaylistParser实现了对HLS数据包报文解析;
![](http://upload-images.jianshu.io/upload_images/3613947-a7a7e892e6138952.png)
![](http://upload-images.jianshu.io/upload_images/3613947-6a13fe4aad5025b3.png)
![](http://upload-images.jianshu.io/upload_images/3613947-4232eb88dadab057.png)
Year~ 看到线程去处理HLS数据包了。
![](http://upload-images.jianshu.io/upload_images/3613947-dac3f9913c8e3183.png)
![](http://upload-images.jianshu.io/upload_images/3613947-57825665bc44c3a7.png)
在ParsingLoadable的load方法可以看到和前面分析的DataSource流程关联起来了,可以再根据之前分析的DataSource类图看看都做了什么处理。
以HttpDataSource为例来说open阶段处理http交互:
![](http://upload-images.jianshu.io/upload_images/3613947-35599644215a41a1.png)
![](http://upload-images.jianshu.io/upload_images/3613947-9354ac694fad2432.png)
这样就完成了http基本请求。那open成功最终获得了什么?
![](http://upload-images.jianshu.io/upload_images/3613947-5d6cb57bc285eb00.png)
继续返回ParsingLoadable::load方法中,open完成后ParsingLoadable::Parser完成数据解析,下面以HLS为例(可以返回MediaSource的类图中看看HlsPlaylistParser,它是ParsingLoadable::Parser的实现类)
![](http://upload-images.jianshu.io/upload_images/3613947-23074742d0649792.png)
再回到Loader的run()方法中,loadable.load()后通过发送MSG_END_OF_SOURCE的消息回调给调用者
![](http://upload-images.jianshu.io/upload_images/3613947-917c0feeadbbc0d6.png)
![](http://upload-images.jianshu.io/upload_images/3613947-4c152154ab91a786.png)
loadable.getResult()则就是HlsPlaylistParser::parser的结果。
ExoPlayerImplInternal::prepareInternal最后发送MSG_DO_SOME_WORK的消息。
![](http://upload-images.jianshu.io/upload_images/3613947-99fd858d4756a02b.png)
在MSG_DO_SOME_WORK消息处理中:renderer::render
![](http://upload-images.jianshu.io/upload_images/3613947-4b9cb4ad5128a59c.png)
MediaCodecRenderer:maybeInitCodec来初始化和配置MediaCodec
![](http://upload-images.jianshu.io/upload_images/3613947-825b576149ac2bfb.png)
render中的核心方法:drainOutputBuffer、feedInputBuffer
![](http://upload-images.jianshu.io/upload_images/3613947-21df584d75b1fc26.png)
![](http://upload-images.jianshu.io/upload_images/3613947-dc478716c90db0c0.png)
![](http://upload-images.jianshu.io/upload_images/3613947-21a23cc0a8f4d307.png)
BaseRenderer::readSource把网络数据读取到DecoderInputBuffer中。
![](http://upload-images.jianshu.io/upload_images/3613947-cb2e57a5be08eee6.png)
当drainOutputBuffer的数据渲染结束后通过feedInputBuffer来填充数据区
注意在feedInputBuffer实现中先通过dequeueInputBuffer获得当前inputBuffer有效的索引值,然后通过readSource获取资源数据填充到索引值对应的buffer中,最后通过queueInputBuffer在通知MediaCodec索引值对应区的buffer已经处理好了,完成了渲染数据的准备。
而在ExoPlayerImplInternal::doSomeWork中通过render:render调用dequeueOutputBuffer,最终调用releaseOutputBuffer释放outBuffer完成解码,再通过ExoPlayerImplInternal::scheduleNextWork不断的消息回调到doSomeWork继续接收数据和解码数据直到操作终止。
![](http://upload-images.jianshu.io/upload_images/3613947-f9a9ae8c7fe71b34.png)
关于MediaCodec需要重点理解的几个方法:
dequeueInputBuffer
queueInputBuffer
dequeueOutputBuffer
releaseOutputBuffer
第一阶段先分析到此处,还没来得及细致的分析音视频同步,后续会分析更新,按计划下一阶段会结合VLC-Android对rtsp及组播方案的支持扩展EXOPlayer并陆续更新文章。