Android音视频开发——MediaCodec播放H264视频
2021-08-23 本文已影响0人
Peakmain
前言
- 源码:
https://github.com/Peakmain/Video_Audio/blob/master/app/src/main/java/com/peakmain/video_audio/simple/H264Player.java - 我的简书:https://www.jianshu.com/u/3ff32f5aea98
- 我的Github:https://github.com/peakmain
基本知识
- 0x 00 00 00 01/ 0x 00 00 01:代表分隔符
- sps:配置信息，信息比较全
- pps:配置信息，只有宽高
- P帧和B帧没有sps和pps。一个视频可能没有sps但是一定有pps
- 帧类型：用字节5位表示
如数字67，代表一个字节，一个字节8位，真正存储的是后5位。比如64的字节码是：0110 0111。现在要取出后五位只需要和1F相与即可
0110 0111
& 1 1111
0000 0111=7
image.png
所以67实际就是sps
- 68是pps,65是I帧,67是sps
为什么视频编码采用YUV而不是rgb
- Rgb原理： 定义RGB 是从颜色发光的原理来设计定的，由红、绿、蓝三盏灯，当它们的光相互叠合的时候，色彩相混，而亮度却等于两者亮度之总和，越混合亮度越高，即加法混合。RGB24 是指 R ， G ， B 三个分量各占 8 位
- Yuv原理： YUV 主要用于优化彩色视频信号的传输，与 RGB 视频信号传输相比，它最大的优点在于只需占用极少的频宽（ RGB 要求三个独立的视频信号同时传输）其中 “Y” 表示明亮度也就是灰阶值；而 “U” 和 “V” 表示的则是色度
- 人眼对亮度比较敏感，对色度不敏感
- yuv中，y:u:v=4:1:1
MediaCodec概念
- MediaCodec是Android提供的用于对音视频进行编解码的类，它通过访问底层的编解码器来实现音视频的功能。是Android media基础框架的一部分
- 解码芯片:移动端的视频硬解码靠的是Soc里的DCP芯片
- 硬解码: 指的是系统将视频文件分离成H.264视频数据流和aac音频数据流，然后再将H.264视频数据流转交给DSP芯片进行处理，DSP将处理好的一帧帧画面转交给GPU/CPU然后显示在屏幕上，这就是视频硬解码的过程
- DCP芯片:如果将视频解码 编码加入到cpu中无疑大大降低手机的流畅度，而专用芯片的加入可以有效地解决这个问题，DSP就是这样一款专用芯片。
流程过程
image.png
大家可能不太容易明白，我画了一个图
image.png
- 首先MediaCodec自身会有很多byteBuffer(看01)，这些bytebuffer有的可用，有的不可用，这时候就需要我们去获取可用的bytebuffer(如02)
- 获取到可用的bytebuffer，我们需要设置一些参数，如帧率，之后mediaCodec配置这些参数
- 配置完之后，MediaCodec去通知DSP去解码
- DSP解码之后，客户端去取出有效的数据的索引，之后渲染屏幕，需要注意取出数据之后需要释放编解码器
实现H264播放
image.png
- 上面我们知道67 68代表sps和pps,在我们播放时，是需要跳过pps和sps
- 我们首先需要找到下一帧，而帧之间主要通过0x00 00 00 01进行分割
/**
* 找到下一帧
*/
private int findByFrame(byte[] bytes, int start, int totalSize) {
for (int i = start; i < totalSize - 4; i++) {
//0x 00 00 00 01
if (bytes[i] == 0x00 && bytes[i + 1] == 0x00 && bytes[i + 2] == 0x00 && bytes[i + 3] == 0x01) {
return i;
}
}
return -1;
}
-
解码的方法
image.png
- 配置参数
public void configure(
@Nullable MediaFormat format,
@Nullable Surface surface,
@Nullable MediaCrypto crypto,//加密
@ConfigureFlag int flags) {
configure(format, surface, crypto, null, flags);
}
如果第二个参数设置了surface，那么在释放的时候releaseOutputBuffer的第二个参数需要设置为true
mediaCodec.releaseOutputBuffer(decodeOutIndex, true);
如果第二个参数设置为null.那么在释放的时候releaseOutputBuffer的第二个参数需要设置为false
mediaCodec.releaseOutputBuffer(decodeOutIndex, false);
因此我们可以设置编码器的初始化
public H264Player(Context context, String path, Surface surface) {
this.mContext = context;
this.mPath = path;
this.mSurface = surface;
HandlerThread handlerThread = new HandlerThread("H264Player");
handlerThread.start();
mHandler = new Handler(handlerThread.getLooper());
try {
mediaCodec = MediaCodec.createDecoderByType("video/avc");
MediaFormat format = MediaFormat.createVideoFormat("video/avc", 720, 1280);
//设置帧数
format.setInteger(MediaFormat.KEY_FRAME_RATE, 15);
mediaCodec.configure(format, surface, null, 0);
} catch (IOException e) {
e.printStackTrace();
}
}
- 开启解码器并开启解码
mHandler.post(() -> {
mediaCodec.start();
decode();
});
- 解码
1、将路径path转成byte数组
fun getBytes(path: String?): ByteArray {
val `is`: InputStream =
DataInputStream(FileInputStream(File(path)))
var len: Int
val size = 1024
var buf: ByteArray
val bos = ByteArrayOutputStream()
buf = ByteArray(size)
while (`is`.read(buf, 0, size).also { len = it } != -1) bos.write(buf, 0, len)
buf = bos.toByteArray()
return buf
}
2、找到可用的byeBuffer，并将bytebuffer塞数据，塞完数据，需要通知dsp去解码
int nextFrameStart = findByFrame(bytes, startIndex + 2, totalSize);
MediaCodec.BufferInfo info = new MediaCodec.BufferInfo();
int decodeInputIndex = mediaCodec.dequeueInputBuffer(TIMEOUT);
if (decodeInputIndex >= 0) {
ByteBuffer byteBuffer = mediaCodec.getInputBuffer(decodeInputIndex);
byteBuffer.clear();
byteBuffer.put(bytes, startIndex, nextFrameStart - startIndex);
//通知dsp进行解绑
mediaCodec.queueInputBuffer(decodeInputIndex, 0, nextFrameStart - startIndex, 0, 0);
startIndex = nextFrameStart;
} else {
continue;
}
- dsp解码之后，我们便可以得到dsp解码之后的数据
int decodeOutIndex = mediaCodec.dequeueOutputBuffer(info, TIMEOUT);
if (decodeOutIndex >= 0) {
try {
Thread.sleep(25);
} catch (InterruptedException e) {
e.printStackTrace();
}
//如果绑定了surface则设置为true
mediaCodec.releaseOutputBuffer(decodeOutIndex, true);
} else {
Log.e(TAG, "解绑失败");
}
- 关于播放H265，大家只需要在初始化修改medcodec的初始化就可以了
mediaCodec = MediaCodec.createDecoderByType("video/hevc");
MediaFormat format = MediaFormat.createVideoFormat("video/hevc", 720, 1280);
输出图片
- 配置参数surface为null
mediaCodec.configure(format, null , null, 0);
- 在dsp解码之后得到数据的同时将数据转成YuvImage，再将YuvImage转成Bitmap
if (decodeOutIndex >= 0) {
if (isPrintImage) {
//dsp的byteBuffer无法直接使用
ByteBuffer byteBuffer = mediaCodec.getOutputBuffer(decodeOutIndex);
//设置偏移量
byteBuffer.position(info.offset);
byteBuffer.limit(info.size + info.offset);
byte[] ba = new byte[byteBuffer.remaining()];
byteBuffer.get(ba);
YuvImage yuvImage = new YuvImage(ba, ImageFormat.NV21, 720, 1280, null);
ByteArrayOutputStream baos = new ByteArrayOutputStream();
yuvImage.compressToJpeg(new Rect(0, 0, 720, 1280), 100, baos);
byte[] data = baos.toByteArray();
Bitmap bitmap = BitmapFactory.decodeByteArray(data, 0, data.length);
if (bitmap != null) {
if (printImageStatus == 0) {
printImageStatus = 1;
try {
File myCaptureFile = new File(Environment.getExternalStorageDirectory(), "img.png");
BufferedOutputStream bos = new BufferedOutputStream(new FileOutputStream(myCaptureFile));
bitmap.compress(Bitmap.CompressFormat.JPEG, 80, bos);
bos.flush();
bos.close();
} catch (Exception e) {
e.printStackTrace();
}
}
}
}
try {
Thread.sleep(25);
} catch (InterruptedException e) {
e.printStackTrace();
}
//如果绑定了surface则设置为true
mediaCodec.releaseOutputBuffer(decodeOutIndex, !isPrintImage);
} else {
Log.e(TAG, "解绑失败");
}
