iOS 音视频开发：AVAssetReaderTrackOutp
本文档描述配置AVAssetReaderTrackOutput的输出像素格式与源像素格式不符导致导致Video Toolbox解码失败、并讨论不解码直接在OpenGL ES显示H.264帧问题。所有数据均在iPad Air 2、iPhone 6真机上验证通过。
1、AVAssetReader读取MP4
AVFoundation支持MP4文件读取，RTSP等协议并不支持，所以这里不引入FFmpeg，示例代码如下所示。
#define Check_Error(error) if (error) {\\
NSLog(@"%@", error.localizedDescription);\\
return; }
NSURL *url = [[NSBundle mainBundle] URLForResource:@"4k.mp4" withExtension:nil];
NSDictionary *options = @{AVURLAssetPreferPreciseDurationAndTimingKey : @YES};
AVURLAsset *inputAsset = [[AVURLAsset alloc] initWithURL:url options:options];
[inputAsset loadValuesAsynchronouslyForKeys:@[@"tracks"] completionHandler:^{
dispatch_async(dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_DEFAULT, 0), ^{
NSError *error = nil;
if ( AVKeyValueStatusLoaded != [inputAsset statusOfValueForKey:@"tracks" error:&error]) {
Check_Error(error)
}
AVAssetReader *reader = [AVAssetReader assetReaderWithAsset:inputAsset error:&error];
Check_Error(error)
// 配置AVAssetReaderTrackOutput
}
AVAsset *asset = [AVAsset assetWithURL: url];也实例化AVURLAsset对象，因为这是类簇方法。
2、AVAssetReaderTrackOutput读取视频格式描述CMFormatDescription
outputSettings用于指定采样输出的属性，视音视频轨道而定，可在AVAudioSettings.h、AVVideoSettings.h找到对应的属性键进行设置。传递nil表示使用源格式。
AVAssetReaderTrackOutput *videoTrackOutput =
[AVAssetReaderTrackOutput assetReaderTrackOutputWithTrack:[inputAsset tracksWithMediaType:AVMediaTypeVideo].firstObject
outputSettings:nil];
if ([reader canAddOutput:videoTrackOutput]) {
[reader addOutput:videoTrackOutput];
}
if (![reader startReading]) {
return;
}
3、使用Video Toolbox解码
3.1、先配置解码回调函数。
VTDecompressionSessionRef decompressSession;
void didDecompress(
void *decompressionOutputRefCon,
void *sourceFrameRefCon,
OSStatus status,
VTDecodeInfoFlags infoFlags,
CVImageBufferRef imageBuffer,
CMTime presentationTimeStamp,
CMTime presentationDuration ) {
// 解码后续操作
}
3.2、创建解码会话。
CMFormatDescriptionRef formatDesc = (CMFormatDescriptionRef)[[inputAsset tracksWithMediaType:AVMediaTypeVideo].firstObject formatDescriptions].firstObject;
VTDecompressionOutputCallbackRecord outputCallback = {
.decompressionOutputCallback = didDecompress,
.decompressionOutputRefCon = NULL
};
OSType status = VTDecompressionSessionCreate(NULL, formatDesc, NULL, NULL, &outputCallback, &decompressSession);
3.3、开始解码
while (true) {
CMSampleBufferRef sampleBuffer = [videoTrackOutput copyNextSampleBuffer];
if(sampleBuffer) {
OSType status = VTDecompressionSessionDecodeFrame(decompressSession, sampleBuffer, !kVTDecodeFrame_EnableAsynchronousDecompression, NULL, NULL);
NSLog(@"status = %i", status);
CMSampleBufferInvalidate(sampleBuffer);
CFRelease(sampleBuffer);
} else {
break;
}
}
在解码回调函数中可发现视频的源像素格式为420f（kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange），实际是FullRange，说明真机上iOS会作格式转换，如下图所示。
已解码帧的像素格式
CMSampleBuffer格式描述
目前为止，一切正常。下面，修改AVAssetReader的输出像素格式。
4、配置AVAssetReaderTrackOutput
指定为kCVPixelFormatType_420YpCbCr8BiPlanarFullRange。
NSDictionary *outputSettings = @{(id) kCVPixelBufferPixelFormatTypeKey : @(kCVPixelFormatType_420YpCbCr8BiPlanarFullRange)};
AVAssetReaderTrackOutput *videoTrackOutput =
[AVAssetReaderTrackOutput assetReaderTrackOutputWithTrack:[inputAsset tracksWithMediaType:AVMediaTypeVideo].firstObject
outputSettings:outputSettings];
5、Video Toolbox解码异常kVTFormatDescriptionChangeNotSupportedErr
再解码时，VTDecompressionSessionDecodeFrame的返回值为-12916（kVTFormatDescriptionChangeNotSupportedErr）。下图对比了从AVAssetReaderTrackOutput、copyNextSampleBuffer各自读取的信息差异。
指定AVAssetReaderTrackOutput输出格式与源格式对比
6、重新创建解码会话
当CMFormatDescription改变时，若是小变化，比如H.264的PPS变化了，可使用VTDecompressionSessionCanAcceptFormatDescription查询解码器是否可接受新格式描述数据；变化较大时，需强制刷新编解码器缓冲区，且释放现在解码会话资源，然后重新创建格式描述数据。
6.1、CMFormatDescriptionEqual比较CMFormatDescription
CMFormatDescriptionRef currentFormatDesc = CMSampleBufferGetFormatDescription(sampleBuffer);
if (!CMFormatDescriptionEqual(formatDesc, currentFormatDesc)) {
if (!VTDecompressionSessionCanAcceptFormatDescription(decompressSession, currentFormatDesc)) {
// 后续操作
}
}
6.2、重建解码会话
formatDesc = currentFormatDesc;
status = VTDecompressionSessionWaitForAsynchronousFrames(decompressSession); // 内部调用VTDecompressionSessionFinishDelayedFrames
VTDecompressionSessionInvalidate(decompressSession);
status = VTDecompressionSessionCreate(NULL, formatDesc, NULL, NULL, &outputCallback, &decompressSession);
NSLog(@"status = %i", status);
再次运行，VTDecompressionSessionCreate的返回值为-12906（kVTCouldNotFindVideoDecoderErr）。从第5节的图可知，指定AVAssetReaderTrackOutput的outputSettings属性后，格式描述已发生变化，导致找不到解码器的具体原因是avcC数据丢失，且codecType为'420f'，而非avc1或avcC。
6.3、VTDecompressionSessionCreate指定创建的解码器
若只是codecType发生变化，导致Video Toolbox无法自动匹配解码器，尝试在VTDecompressionSessionCreate手动指定使用的解码器。
NSDictionary *videoDecoderSpecification = @{AVVideoCodecKey: AVVideoCodecH264};
VTDecompressionSessionCreate(NULL, formatDesc, (__bridge CFDictionaryRef)videoDecoderSpecification, NULL, &outputCallback, &decompressSession);
6.4、重建CMFormatDescriptionRef和VTDecompressionSessionRef
CMFormatDescriptionRef没提供设置属性函数，CMFormatDescriptionGetExtension也总是出现内存读取问题，只能通过CMFormatDescriptionGetExtensions获取avcC数据。
NSDictionary *formerFormatDescExtensions = (__bridge NSDictionary *)CMFormatDescriptionGetExtensions(formatDesc);
NSData *avcC = (__bridge NSData *)formerFormatDescExtensions[@"SampleDescriptionExtensionAtoms"];
由于CMFormatDescriptionGetExtensions返回不可变字典，没法直接将avcC存入它，需重新创建。
6.4.1、使用SPS、PPS创建CMFormatDescriptionRef
方便起见，从原avcC数据读取SPS、PPS数据。
const uint8_t *sps = NULL;
size_t sps_size = 0;
CMVideoFormatDescriptionGetH264ParameterSetAtIndex(formatDesc, 0, &sps, &sps_size, NULL, NULL);
const uint8_t *pps = NULL;
size_t pps_size = 0;
CMVideoFormatDescriptionGetH264ParameterSetAtIndex(formatDesc, 1, &pps, &pps_size, NULL, NULL);
创建CMFormatDescriptionRef。
const uint8_t *params[] = {sps, pps};
const size_t params_size[] = {sps_size, pps_size};
status = CMVideoFormatDescriptionCreateFromH264ParameterSets(NULL, 2, params, params_size, 4, &formatDesc);
6.4.2、使用原avcC数据创建CMFormatDescriptionRef
使用avcC创建是相对麻烦的，因为要操作Core Founation数据结构，不过，利用Foundation与Core Foundation之间的转换是更省事的做法。
CMFormatDescriptionRef fmtDesc = NULL;
OSStatus status;
// CVPixelAspectRatio
NSDictionary *par = @{
@"HorizontalSpacing" : @0,
@"VerticalSpacing" : @0};
// SampleDescriptionExtensionAtoms
NSMutableDictionary *atoms = @{@"avcC" : avcC};
NSDictionary *newExtensions = @{
@"CVImageBufferChromaLocationBottomField" : @"left",
@"CVImageBufferChromaLocationTopField" : @"left",
@"FullRangeVideo" : @FALSE,
@"CVPixelAspectRatio" : par,
@"SampleDescriptionExtensionAtoms" : atoms};
status = CMVideoFormatDescriptionCreate(NULL, kCMVideoCodecType_H264, 1920, 1080, (__bridge CFDictionaryRef)newExtensions, &fmtDesc);
7、iOS直接显示H.264数据
早在Video Toolbox开放前就能不解码H.264，并用OpenGL ES直接渲染H.264。下面介绍具体实现办法。
7.1、AVAssetReaderTrackOutput修改视频像素格式
使用AVAssetReaderTrackOutput将输出数据改为iOS支持的两个像素格式：
- kCVPixelFormatType_420YpCbCr8BiPlanarFullRange
- kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange
CVPixelBuffer.h中还列举了其他格式，上面这两个格式，苹果提供了一个创建OpenGL ES Fragment Shader示例。其余格式，如YUV420p需自行处理片段着色器，示例代码如下（注意颜色转换矩阵），YUV三个通道需独立处理，对应的纹理也要分三次上传。数据量一样，但是UV一起提供，在我看来，少了一次GPU调用且UV数据一起存储方便内存拷贝，性能略有提高。
varying highp vec2 v_texcoord;
uniform sampler2D s_texture_y;
uniform sampler2D s_texture_u;
uniform sampler2D s_texture_v;
void main()
{
highp float y = texture2D(s_texture_y, v_texcoord).r;
highp float u = texture2D(s_texture_u, v_texcoord).r - 0.5;
highp float v = texture2D(s_texture_v, v_texcoord).r - 0.5;
highp float r = y + 1.402 * v;
highp float g = y - 0.344 * u - 0.714 * v;
highp float b = y + 1.772 * u;
gl_FragColor = vec4(r,g,b,1.0);
}
7.2、获取CMSampleBuffer的图像地址
CVImageBufferRef imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);
注意，在真机上才能得到内存地址，模拟器返回NULL。
7.3、创建OpenGL ES Texture
CoreVideo提供了一个从CVPixelBuffer创建Texture的接口CVOpenGLESTextureCacheCreateTextureFromImage，省去自己拷贝YUV通道。
需要注意的是，CVOpenGLESTextureCacheCreateTextureFromImage对于OpenGL ES 2可以使用GL_RED_EXT、GL_RG_EXT创建Y、UV通道，而OpenGL ES 3只能使用GL_LUMINANCE、GL_LUMINANCE_ALPHA，后面这两个值对于ES 2也是支持的。
现在问题来了，既然可以不解码，为何要多此一举？
7.4、性能比较
已解码创建纹理
未解码创建纹理
可见，未解码直接创建纹理GPU负载较大，意味着手机更容易发烫，同时消耗更多GPU资源。
