Android音视频处理之MediaCodec

2016-12-16 本文已影响20429人郑旭泽

Android中可以使用MediaCodec来访问底层的媒体编解码器，可以对媒体进行编/解码。MediaCodec的官方文档真的超详细，基本上所有问题都可以在文档上找到答案。

MediaCodec可以处理的数据有以下三种类型：压缩数据、原始音频数据、原始视频数据。这三种类型的数据均可以利用ByteBuffers进行处理，但是对于原始视频数据应提供一个Surface以提高编解码器的性能。Surface直接使用native视频数据缓存，而没有映射或复制它们到ByteBuffers，因此，这种方式会更加高效。

MediaCodec采用异步方式处理数据，并且使用了一组输入输出缓存（ByteBuffer）。通过请求一个空的输入缓存（ByteBuffer），向其中填充满数据并将它传递给编解码器处理。编解码器处理完这些数据并将处理结果输出至一个空的输出缓存（ByteBuffer）中。使用完输出缓存的数据之后，将其释放回编解码器：

MediaCodec的工作原理

MediaCodec的生命周期有三种状态：停止态-Stopped、执行态-Executing、释放态-Released，停止状态（Stopped）包括了三种子状态：未初始化（Uninitialized）、配置（Configured）、错误（Error）。执行状态（Executing）会经历三种子状态：刷新（Flushed）、运行（Running）、流结束（End-of-Stream）：

MediaCodec的生命周期

当创建了一个MediaCodec对象，此时MediaCodec处于Uninitialized状态。首先，需要使用configure(…)方法对MediaCodec进行配置，这时MediaCodec转为Configured状态。然后调用start()方法使其转入Executing状态。在Executing状态可以通过上述的缓存队列操作处理数据。
Executing状态包含三个子状态： Flushed、 Running 以及End-of-Stream。在调用start()方法后MediaCodec立即进入Flushed子状态，此时MediaCodec会拥有所有的缓存。一旦第一个输入缓存（input buffer）被移出队列，MediaCodec就转入Running子状态，这种状态占据了MediaCodec的大部分生命周期。当你将一个带有end-of-stream marker标记的输入缓存入队列时，MediaCodec将转入End-of-Stream子状态。在这种状态下，MediaCodec不再接收之后的输入缓存，但它仍然产生输出缓存直到end-of- stream标记输出。你可以在Executing状态的任何时候通过调用flush()方法返回到Flushed子状态。
通过调用stop()方法使MediaCodec返回到Uninitialized状态，因此这个MediaCodec可以再次重新配置。当使用完MediaCodec后，必须调用release()方法释放其资源。
在极少情况下MediaCodec会遇到错误并进入Error状态。这个错误可能是在队列操作时返回一个错误的值或者有时候产生了一个异常导致的。通过调用 reset()方法使MediaCodec再次可用。你可以在任何状态调用reset()方法使MediaCodec返回到Uninitialized状态。否则，调用 release()方法进入最终的Released状态。

MediaCodec的使用相对MediaExtractor和MediaMuxer来说要复杂一些，首先是创建一个新的MediaCodec对象然后调用configure(...)方法对MediaCodec进行配置：

String AUDIO_MIME = "audio/mp4a-latm";
MediaCodec mAudioEncoder = MediaCodec.createEncoderByType(AUDIO_MIME);
MediaFormat mAudioMediaFormat = new MediaFormat();
mAudioMediaFormat.setString(MediaFormat.KEY_MIME, AUDIO_MIME);
mAudioMediaFormat.setInteger(MediaFormat.KEY_BIT_RATE, 32000);
mAudioMediaFormat.setInteger(MediaFormat.KEY_CHANNEL_COUNT, 2);
mAudioMediaFormat.setInteger(MediaFormat.KEY_SAMPLE_RATE, 48000);
mAudioMediaFormat.setInteger(MediaFormat.KEY_MAX_INPUT_SIZE, BUFFER_SIZE_IN_BYTES);
mAudioMediaFormat.setInteger(MediaFormat.KEY_AAC_PROFILE,
MediaCodecInfo.CodecProfileLevel.AACObjectLC);
mAudioEncoder.configure(mAudioMediaFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);

通过文档我们可以看到MediaCodec有几个方法可以构造MediaCodec对象，有createDecoderBy...和createEncoderBy...，分别对应解码器和编码器。此时MediaCodec处于Uninitialized状态。

调用configure(...)方法对MediaCodec进行配置，此时MediaCodec处于Configured状态。

接着调用MediaCodec的start()方法，此时MediaCodec处于Executing状态，可以通过getInputBuffers()方法和getOutputBuffers()方法获取缓存队列：

mAudioEncoder.start();
mAudioInputBuffers = mAudioEncoder.getInputBuffers();
mAudioOutputBuffers = mAudioEncoder.getOutputBuffers();

当MediaCodec处于Executing状态之后就可以对数据进行处理了。首先通过dequeueInputBuffer(long timeoutUs)请求一个输入缓存，timeoutUs代表等待时间，设置为-1代表无限等待：

int inputBufIndex = mAudioEncoder.dequeueInputBuffer(1000);

返回的整型变量为请求到的输入缓存的index，通过getInputBuffers()得到的是输入缓存数组，通过index和输入缓存数组可以得到当前请求的输入缓存，在使用之前要clear一下，避免之前的缓存数据影响当前数据：

mInputBuffer = mAudioInputBuffers[inputBufIndex];
mInputBuffer.clear();

接着就是把数据添加到输入缓存中，并调用queueInputBuffer(...)把缓存数据入队：

mInputBuffer.put(bytes, 0, BUFFER_SIZE_IN_BYTES);
mAudioEncoder.queueInputBuffer(inputBufIndex, 0, BUFFER_SIZE_IN_BYTES, (1000000 * mEncodedSize / AUDIO_BYTE_PER_SAMPLE), 0);

获取输出缓存和获取输入缓存类似，首先通过dequeueOutputBuffer(BufferInfo info, long timeoutUs)来请求一个输出缓存，这里需要传入一个BufferInfo对象，用于存储ByteBuffer的信息：

int outputBufIndex = mAudioEncoder.dequeueOutputBuffer(mOutBufferInfo, 1000);

然后通过返回的index得到输出缓存，并通过BufferInfo获取ByteBuffer的信息，通过BufferInfo我们可以得到当前数据是否Codec-specific Data：

mOutBuffer = mAudioOutputBuffers[outputBufIndex];
if ((mOutBufferInfo.flags & MediaCodec.BUFFER_FLAG_CODEC_CONFIG) != 0) {
    // Codec-specific Data, 这里可以从ByteBuffer中获取csd参数
    // audioFormat.setByteBuffer("csd-0", mOutBuffer);
} else {
    // 处理数据
}
mAudioEncoder.releaseOutputBuffer(outputBufIndex, false);

注意一定要调用releaseOutputBuffer方法。

使用完MediaCodec后释放资源：

mAudioEncoder.stop();
mAudioEncoder.release();

下面例子展示了把PCM数据编码为AAC数据：

private void encodePCMToAAC(byte[] bytes) throws IOException {
    int inputBufIndex = mAudioEncoder.dequeueInputBuffer(1000);
    if (inputBufIndex >= 0) {
        mInputBuffer = mAudioInputBuffers[inputBufIndex];
        mInputBuffer.clear();
        mInputBuffer.put(bytes, 0, BUFFER_SIZE_IN_BYTES);
        mAudioEncoder.queueInputBuffer(inputBufIndex, 0, BUFFER_SIZE_IN_BYTES, (1000000 * mEncodedSize / AUDIO_BYTE_PER_SAMPLE), 0);
        mEncodedSize += BUFFER_SIZE_IN_BYTES;
    }

    int outputBufIndex = mAudioEncoder.dequeueOutputBuffer(mOutBufferInfo, 1000);
    if (outputBufIndex >= 0) {
        mOutBuffer = mAudioOutputBuffers[outputBufIndex];
        if ((mOutBufferInfo.flags & MediaCodec.BUFFER_FLAG_CODEC_CONFIG) != 0) {
            // 这里可以从ByteBuffer中获取csd参数
            mAudioEncoder.releaseOutputBuffer(outputBufIndex, false);
            return;
        }
        if (mOutBufferInfo.size != 0 && mLastAudioPresentationTimeUs < mOutBufferInfo.presentationTimeUs) {
            mOutBuffer.position(mOutBufferInfo.offset);
            mOutBuffer.limit(mOutBufferInfo.offset + mOutBufferInfo.size);

            addADTStoPacket(mADTSHeader, mOutBufferInfo.size + 7);
            mMixedFileOutputStream.write(mADTSHeader);

            mOutBuffer.get(mEncodedBytes, 0, mOutBufferInfo.size);
            mOutBuffer.clear();
            mMixedFileOutputStream.write(mEncodedBytes, 0, mOutBufferInfo.size);

            mLastAudioPresentationTimeUs = mOutBufferInfo.presentationTimeUs;
        }

        mAudioEncoder.releaseOutputBuffer(outputBufIndex, false);
    } else if (outputBufIndex == MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED) {
        mAudioOutputBuffers = mAudioEncoder.getOutputBuffers();
    }
}

Android音视频处理之MediaCodec

猜你喜欢

热点阅读