android音视频学习之路四-MediaExtractor&M
一、写代码之前，先简单的对相关的几个类进行简单的了解
1.MediaExtractor
用于分离容器内的视频track和音频track,说直观点就是提取多路的，通常编码的视频资源。
主要API介绍：
setDataSource(String path)：即可以设置本地文件又可以设置网络文件
getTrackCount()：得到源文件通道数
getTrackFormat(int index)：获取指定（index）的通道格式
getSampleTime()：返回当前的时间戳
readSampleData(ByteBuffer byteBuf, int offset)：把指定通道中的数据按偏移量读取到ByteBuffer中；
advance()：读取下一帧数据
release(): 读取结束后释放资源
2.MediaMuxer
用于复用基本流，用它可以进行音频和视频的合成。目前支持输出MP4,Webm和3GP格式的视频，在android7.0以后支持复用帧的MP4。
在官方文档中，MediaMuxer仅支持一个音频track和视频track，所以如果有多个音频track，可以先将他们和为一个音频track然后再使用MediaMuxer封装到MP4容器中。
通常视频编码使用H.264（AVC）编码，音频编码使用AAC编码，在MediaFormat中我们可以看到各种格式的编码。
public static final String MIMETYPE_VIDEO_AVC = "video/avc";
public static final String MIMETYPE_AUDIO_AAC = "audio/mp4a-latm";
public static final String MIMETYPE_TEXT_CEA_608 = "text/cea-608";
上面各自摘取了视频，音频和声道d的一种编码格式
相关API介绍：
MediaMuxer(String path, int format)：path:输出文件的名称 format:输出文件的格式；当前只支持MP4格式；
addTrack(MediaFormat format)：添加通道；我们更多的是使用MediaCodec.getOutpurForma()或Extractor.getTrackFormat(int index)来获取MediaFormat;也可以自己创建；
start()：开始合成文件
writeSampleData(int trackIndex, ByteBuffer byteBuf, MediaCodec.BufferInfo bufferInfo)：把ByteBuffer中的数据写入到在构造器设置的文件中；
stop()：停止合成文件
release()：释放资源
3.MediaFormat
封装类，封装了描述媒体数据格式的信息，如音频或视频，通过它我们可以取出音频或者视频。比如：获取指定mime类型的媒体格式。
String type = mediaFormat.getString(MediaFormat.KEY_MIME);
接下来我利用MediaExtractor.getTrackFormat(int)打印了mediaformat的内容，下面简单的罗列一些：
csd-1=java.nio.HeapByteBuffer[pos=0 lim=8 cap=8]：csd参数在官方文档中叫Codec-specific Data，详细介绍可以看MediaCodec官方文档 - Codec-specific Data部分。对于H.264来说，"csd-0"和"csd-1"分别对应sps和pps；对于AAC来说，"csd-0"对应ADTS
, mime=video/avc ：MIME类型，媒体格式，比如此处的“video/”开头既指视频轨
, frame-rate=30：帧率，每秒显示的帧数
, track-id=1：轨道id 1为视频轨，2 为音轨
, width=1280：视频宽度
, height=720：视频高度
, max-input-size=154188：数据缓冲区最大大小（字节），是不是可以理解为视频轨的大小？？？
, durationUs=117150483：时间（戳），以微妙为单位
, csd-0=java.nio.HeapByteBuffer[pos=0 lim=28 cap=28]
, level=2048：等级，主要的有4个等级 低级(LL),主级(ML)，1440高级H14L（High 1440 Level），高级HL（High Level）
, profile=8：是指MPEG-2的不同处理方法，每一类都包括压缩和处理方法的一个集合，较高的类意味着采用较多的编码工具集，进行更精细的处理，达到更好的图像质量，同时实现的代价也更大
>>>level&profile解释
其中在音轨中，还出现了（这几个在前面的作业2中有所介绍）：
bitrate=96000:指的是比特率，这值越高，越清晰
simple-rate=44100：音频采样率
channel-count=2：声道数
二、完成作业4
使用 MediaExtractor 和 MediaMuxer API 解析和封装 mp4 文件
第一步，定义目标视频路径
此处用一个网络连接作为源文件,定义输出目录mOutputVideoPath
private String netPath = "http://jdplay.lecloud.com/play.videocache.lecloud.com/187/28/92/letv-gug/14/ver_00_22-1051581402-avc-1507856-aac-96000-117151-23680505-2e0b3774490e51ac469db4313025b877-1466497857703.mp4?crypt=13aa7f2e25900&b=259&nlh=4096&nlt=60&bf=8000&p2p=1&video_type=mp4&termid=0&tss=no&platid=3&splatid=345&its=0&qos=3&fcheck=0&amltag=7&mltag=7&uid=3663232631.rp&keyitem=GOw_33YJAAbXYE-cnQwpfLlv_b2zAkYctFVqe5bsXQpaGNn3T1-vhw..&ntm=1553515800&nkey=f2230cd511223543acdd24e6cec84eff&nkey2=2479b45597488a767015d4251beb7875&auth_key=1553515800-1-0-3-345-37a8f78c20cee9b8cd9c0c9b7f7cebd2&geo=CN-23-323-1&mmsid=65565355&tm=1499247143&key=f0eadb4f30c404d49ff8ebad673d3742&playid=0&vtype=21&cvid=2026135183914&payff=0&sign=mb&dname=mobile&tag=mobile&xformat=super&uidx=0&errc=424&gn=50038&ndtype=2&vrtmcd=102&buss=7&cips=218.88.126.119";
private String mOutputVideoPath = Environment.getExternalStorageDirectory().getPath()+"/test.mp4";
第二步，定义方法用于解析和封装音视频文件
各种方法都进行了注释 这儿就不赘述了
private void analysisAudioAndVideo() throws IOException{
int mainAudioMaxInputSize = 0; //能获取的音频的最大值
int frameMaxInputSize = 0; //能获取的视频的最大值
int frameRate = 0; //视频的帧率
if (android.os.Build.VERSION.SDK_INT >= android.os.Build.VERSION_CODES.JELLY_BEAN_MR2) {
MediaMuxer mMediaMuxer = new MediaMuxer(mOutputVideoPath, MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4);
/**
* 视频的MediaExtractor
*/
MediaExtractor mVideoExtractor = new MediaExtractor();
mVideoExtractor.setDataSource(netPath);
int videoTrackIndex = -1; //视频轨
for (int i=0;i<mVideoExtractor.getTrackCount();i++){//循环轨道数，获取需要的视频轨
MediaFormat mediaFormat = mVideoExtractor.getTrackFormat(i); //得到指定索引的记录格式
if (mediaFormat.getString(MediaFormat.KEY_MIME).startsWith("video/")){//指定mime类型的媒体格式作为筛选条件 String type = mediaFormat.getString(MediaFormat.KEY_MIME);
mVideoExtractor.selectTrack(i);//将提供视频的视频选择到视轨上
videoTrackIndex = mMediaMuxer.addTrack(mediaFormat);//将视轨添加到MediaMuxer，并返回新的轨道
frameMaxInputSize = mediaFormat.getInteger(MediaFormat.KEY_MAX_INPUT_SIZE);//得到能获取的有关视频的最大值
frameRate = mediaFormat.getInteger(MediaFormat.KEY_FRAME_RATE);//获取视频的帧率
}
}
/**
* 音频的MediaExtractor
*/
MediaExtractor mAutioExtractor = new MediaExtractor();
mAutioExtractor.setDataSource(netPath);
int autioTrackIndex = -1;//音频轨
for (int i=0;i<mAutioExtractor.getTrackCount();i++){//循环轨道数，获取需要的音频轨
MediaFormat mediaFormat = mAutioExtractor.getTrackFormat(i);//得到指定索引的记录格式
if (mediaFormat.getString(MediaFormat.KEY_MIME).startsWith("audio/")){//指定mime类型的媒体格式作为筛选条件 找到音轨
mAutioExtractor.selectTrack(i);//将提供音频的视频选择到音轨上
autioTrackIndex = mMediaMuxer.addTrack(mediaFormat);//将音轨添加到MediaMuxer，并返回新的轨道
mainAudioMaxInputSize = mediaFormat.getInteger(MediaFormat.KEY_MAX_INPUT_SIZE); //得到能获取的有关音频的最大值
}
}
//添加完毕所有轨道以后调用start()方法，后面不要忘记释放资源
mMediaMuxer.start();
//封装视频track
if (-1 != videoTrackIndex) {
MediaCodec.BufferInfo info = new MediaCodec.BufferInfo();
info.presentationTimeUs = 0;
ByteBuffer buffer = ByteBuffer.allocate(frameMaxInputSize);
while (true) {
int sampleSize = mVideoExtractor.readSampleData(buffer, 0);//检索当前编码的样本并将其存储在字节缓冲区中
if (sampleSize < 0) {//如果没有可获取的样本则退出循环
break;
}
//设置样本编码信息
info.offset = 0;//必须填入数据的大小
info.size = sampleSize;
info.flags = MediaCodec.BUFFER_FLAG_SYNC_FRAME;// 需要给出是否为同步帧/关键帧
info.presentationTimeUs += 1000 * 1000 / frameRate;//必须给出正确的时间戳，注意单位是 us
Log.e("-----------",mVideoExtractor.getSampleTime()+"");
mMediaMuxer.writeSampleData(videoTrackIndex, buffer, info);//将样本写入
mVideoExtractor.advance(); //推进到下一个样本，类似快进
}
}
// 封装音频track
if (-1 != autioTrackIndex) {
MediaCodec.BufferInfo info = new MediaCodec.BufferInfo();
info.presentationTimeUs = 0;
ByteBuffer buffer = ByteBuffer.allocate(mainAudioMaxInputSize);
while (true) {
int sampleSize = mAutioExtractor.readSampleData(buffer, 0);
if (sampleSize < 0) {
break;
}
info.offset = 0;
info.size = sampleSize;
info.flags = MediaCodec.BUFFER_FLAG_SYNC_FRAME;
info.presentationTimeUs = mAutioExtractor.getSampleTime();
mMediaMuxer.writeSampleData(autioTrackIndex, buffer, info);
mAutioExtractor.advance();
}
}
// 释放MediaExtractor
mVideoExtractor.release();
mAutioExtractor.release();
// 释放MediaMuxer
mMediaMuxer.stop();
mMediaMuxer.release();
Log.e("---------------","合并完成!");
button.setText("合并完成！");
}
}
第三步，使用
try {
button.setText("合成中……");
analysisAudioAndVideo();
} catch (IOException e) {
e.printStackTrace();
Log.e("-----------","异常"+e.toString());
}
最后，播放合成的视频，视频地址就是我们的输出地址mOutputVideoPath
image.png
最后我试了一下，分别注释掉音轨解析或视频轨解析，分别能够播放没有声音的图像和没有图像的声音。
至于怎么播放的，此处直接用的VideoView，前面文章有写，不懂的小伙伴可以去瞅瞅。当然的权限就直接设置，动态设置就没高了比较懒。
<uses-permission android:name="android.permission.INTERNET" />
<uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />
本文就到这儿,下面给出git地址
Demo地址
借鉴了几位大佬的帖子
https://blog.csdn.net/k_bb_666/article/details/79175510
