AVAudioFoundation(1)：使用 AVAsset
本文转自：AVAudioFoundation(1)：使用 AVAsset | www.samirchen.com
本文主要内容来自 AVFoundation Programming Guide。
要了解 iOS 上的音视频相关的内容，首先需要了解的就是 AVFoundation 这个框架。
下图是 AVFoundation 框架大的层级结构：
image
在 AVFoundation 框架中，最主要的表示媒体的类就是 AVAsset，甚至可以认为 AVFoundation 框架的大部分能力都是围绕着 AVAsset 展开的。
一个 AVAsset 实例表示的是一份或多份音视频数据（audio and video tracks）的集合，它描述的是这个集合作为一个整体对象的一些属性，比如：标题、时长、大小等，而不与具体的数据格式绑定。通常，在实际使用时我们可能会基于某个 URL 创建对应的媒体资源对象（AVURLAsset），或者直接创建 compositions（AVComposition），这些类都是 AVAsset 的子类。
一个 AVAsset 中的每一份音频或视频数据都称为一个轨道（track）。在最简单的情况下，一个媒体文件中可能只有两个轨道，一个音频轨道，一个视频轨道。而复杂的组合中，可能包含多个重叠的音频轨道和视频轨道。此外 AVAsset 也可能包含元数据（metadata）。
在 AVFoundation 中另一个非常重要的概念是，初始化一个 AVAsset 或者一个 AVAssetTrack 时并不一定意味着它已经可以立即使用，因为这需要一段时间来做计算，而这个计算可能会阻塞当前线程，所以通常你可以选用异步的方式来初始化，并通过回调来得到异步返回。
我们可以从一个文件或者用户的相册中来创建 asset。获得一个视频 asset 时，我们可以从中提出静态图，对其进行转码，裁剪器内容。
创建 Asset
当使用一个 URL 来创建 asset 时，可以用 AVURLAsset：
NSURL *url = <#A URL that identifies an audiovisual asset such as a movie file#>;
AVURLAsset *anAsset = [[AVURLAsset alloc] initWithURL:url options:nil];
设置 Asset 选项
可以看到当我们创建一个 AVURLAsset 时，是可以设置一个对象的 options 的，这里可选的设置项包括：
-
AVURLAssetPreferPreciseDurationAndTimingKey，这个选项对应的值是布尔值，默认为@(NO)，当设为@(YES)时表示 asset 应该提供精确的时长，并能根据时间准确地随机访问，提供这样的能力是需要开销更大的计算的。当你只是想播放视频时，你可以不设置这个选项，但是如果你想把这个 asset 添加到一个 composition（AVMutableComposition）中去做进一步编辑，你通常需要精确的随机访问，这时你最好设置这个选项为 YES。 -
AVURLAssetReferenceRestrictionsKey，这个选项对应的值是AVAssetReferenceRestrictionsenum。有一些 asset 可以保护一些指向外部数据的引用，这个选项用来表示对外部数据访问的限制。具体含义参见AVAssetReferenceRestrictions。 -
AVURLAssetHTTPCookiesKey，这个选项用来设置 asset 通过 HTTP 请求发送的 HTTP cookies，当然 cookies 只能发给同站。具体参见文档。 -
AVURLAssetAllowsCellularAccessKey，这个选项对应的值是布尔值，默认为@(YES)。表示 asset 是否能使用移动网络资源。
不过你要注意这几个选项适用的 iOS 版本。
NSURL *url = <#A URL that identifies an audiovisual asset such as a movie file#>;
NSDictionary *options = @{ AVURLAssetPreferPreciseDurationAndTimingKey : @YES };
AVURLAsset *anAssetToUseInAComposition = [[AVURLAsset alloc] initWithURL:url options:options];
访问用户的 Asset
获取用户相册的资源时，你需要借用 ALAssetsLibrary 的相关接口：
ALAssetsLibrary *library = [[ALAssetsLibrary alloc] init];
// Enumerate just the photos and videos group by using ALAssetsGroupSavedPhotos.
[library enumerateGroupsWithTypes:ALAssetsGroupSavedPhotos usingBlock:^(ALAssetsGroup *group, BOOL *stop) {
// Within the group enumeration block, filter to enumerate just videos.
[group setAssetsFilter:[ALAssetsFilter allVideos]];
// For this example, we're only interested in the first item.
[group enumerateAssetsAtIndexes:[NSIndexSet indexSetWithIndex:0]
options:0
usingBlock:^(ALAsset *alAsset, NSUInteger index, BOOL *innerStop) {
// The end of the enumeration is signaled by asset == nil.
if (alAsset) {
ALAssetRepresentation *representation = [alAsset defaultRepresentation];
NSURL *url = [representation url];
AVAsset *avAsset = [AVURLAsset URLAssetWithURL:url options:nil];
// Do something interesting with the AV asset.
}
}];
}
failureBlock: ^(NSError *error) {
// Typically you should handle an error more gracefully than this.
NSLog(@"No groups");
}];
加载 Asset 来使用
初始化一个 AVAsset 或者一个 AVAssetTrack 时并不一定意味着它已经可以立即使用，因为这需要一段时间来做计算，而这个计算可能会阻塞当前线程，所以通常你可以选用异步的方式来初始化，并通过回调来得到异步返回。
这时你可以使用 AVAsynchronousKeyValueLoading protocol 来获取加载 asset 的状态，并在对应的 completion handler 中做对应的处理。AVAsset 和 AVAssetTrack 都是遵循 AVAsynchronousKeyValueLoading protocol 的。下面是一个示例：
NSURL *url = <#A URL that identifies an audiovisual asset such as a movie file#>;
AVURLAsset *anAsset = [[AVURLAsset alloc] initWithURL:url options:nil];
NSArray *keys = @[@"duration"];
[asset loadValuesAsynchronouslyForKeys:keys completionHandler:^() {
NSError *error = nil;
AVKeyValueStatus tracksStatus = [asset statusOfValueForKey:@"duration" error:&error];
switch (tracksStatus) {
case AVKeyValueStatusLoaded:
[self updateUserInterfaceForDuration];
break;
case AVKeyValueStatusFailed:
[self reportError:error forAsset:asset];
break;
case AVKeyValueStatusCancelled:
// Do whatever is appropriate for cancelation.
break;
}
}];
需要注意的是：当你需要加载一个 asset 来点播，你应该加载它的 tracks 属性。
获取视频截图
我们可以用一个 AVAssetImageGenerator 实例来获取视频中的截图。即使初始化时在 asset 中没有检查到视觉 track，AVAssetImageGenerator 的初始化也可能会成功，所以必要的情况下，你可以用 tracksWithMediaCharacteristic: 方法去检查一下 asset 是否有可用的视觉 track。
AVAsset anAsset = <#Get an asset#>;
if ([[anAsset tracksWithMediaType:AVMediaTypeVideo] count] > 0) {
AVAssetImageGenerator *imageGenerator = [AVAssetImageGenerator assetImageGeneratorWithAsset:anAsset];
// Implementation continues...
}
我们可以配置一下 AVAssetImageGenerator，比如用 maximumSize 和 apertureMode 来指定生成图像的最大尺寸和光圈模式。接下来，可以生成指定时间的一张截图或者一系列图集。必须保证在生成图片时对 AVAssetImageGenerator 实例的强引用。
获取一张图片
我们可以用 copyCGImageAtTime:actualTime:error: 来获得指定时间的截图。AVFoundation 也许无法精确地获得你指定时间的截图，所以你需要传入一个 actualTime 参数来获得截图所对应的实际时间。
AVAsset *myAsset = <#An asset#>];
AVAssetImageGenerator *imageGenerator = [[AVAssetImageGenerator alloc] initWithAsset:myAsset];
Float64 durationSeconds = CMTimeGetSeconds([myAsset duration]);
CMTime midpoint = CMTimeMakeWithSeconds(durationSeconds/2.0, 600);
NSError *error;
CMTime actualTime;
CGImageRef halfWayImage = [imageGenerator copyCGImageAtTime:midpoint actualTime:&actualTime error:&error];
if (halfWayImage != NULL) {
NSString *actualTimeString = (NSString *)CMTimeCopyDescription(NULL, actualTime);
NSString *requestedTimeString = (NSString *)CMTimeCopyDescription(NULL, midpoint);
NSLog(@"Got halfWayImage: Asked for %@, got %@", requestedTimeString, actualTimeString);
// Do something interesting with the image.
CGImageRelease(halfWayImage);
}
获取一组截图
我们可以用 generateCGImagesAsynchronouslyForTimes:completionHandler: 接口来传入一组时间来获取相应的一组截图。同样的，必须保证在生成图片时对 AVAssetImageGenerator 实例的强引用。示例代码如下：
AVAsset *myAsset = <#An asset#>];
// Assume: @property (strong) AVAssetImageGenerator *imageGenerator;
self.imageGenerator = [AVAssetImageGenerator assetImageGeneratorWithAsset:myAsset];
Float64 durationSeconds = CMTimeGetSeconds([myAsset duration]);
CMTime firstThird = CMTimeMakeWithSeconds(durationSeconds/3.0, 600);
CMTime secondThird = CMTimeMakeWithSeconds(durationSeconds*2.0/3.0, 600);
CMTime end = CMTimeMakeWithSeconds(durationSeconds, 600);
NSArray *times = @[NSValue valueWithCMTime:kCMTimeZero],
[NSValue valueWithCMTime:firstThird], [NSValue valueWithCMTime:secondThird],
[NSValue valueWithCMTime:end]];
[imageGenerator generateCGImagesAsynchronouslyForTimes:times
completionHandler:^(CMTime requestedTime, CGImageRef image, CMTime actualTime, AVAssetImageGeneratorResult result, NSError *error) {
NSString *requestedTimeString = (NSString *)
CFBridgingRelease(CMTimeCopyDescription(NULL, requestedTime));
NSString *actualTimeString = (NSString *)
CFBridgingRelease(CMTimeCopyDescription(NULL, actualTime));
NSLog(@"Requested: %@; actual %@", requestedTimeString, actualTimeString);
if (result == AVAssetImageGeneratorSucceeded) {
// Do something interesting with the image.
}
if (result == AVAssetImageGeneratorFailed) {
NSLog(@"Failed with error: %@", [error localizedDescription]);
}
if (result == AVAssetImageGeneratorCancelled) {
NSLog(@"Canceled");
}
}];
我们还能使用 cancelAllCGImageGeneration 接口来中断截图。
对视频进行裁剪和转码
我们可以使用一个 AVAssetExportSession 实例来对视频进行裁剪或格式转换。流程如下图所示：
image
AVAssetExportSession 实例用来控制异步的导出 asset。使用 export session 时，首先我们需要传入要导出的 asset 和对应的 preset 配置，我们可以用 allExportPresets 接口来查看所有可用的 preset 配置。接着，你需要设置导出的 URL 和文件类型。此外，我们还能设置导出视频文件的 metadata 以及导出的是否应该针对网络访问优化。
在下面的示例代码中，我们用 exportPresetsCompatibleWithAsset: 接口检查可用的 preset，用 outputURL 和 outputFileType 接口设置导出 URL 和导出文件类型，通过 timeRange 设置导出时间段。此外，我们还能用 shouldOptimizeForNetworkUse 接口设置是否针对网络使用优化以方便秒开，用 maxDuration、fileLengthLimit 设置导入限制等等。
我们用 exportAsynchronouslyWithCompletionHandler: 接口来开始导出。
AVAsset *anAsset = <#Get an asset#>;
NSArray *compatiblePresets = [AVAssetExportSession exportPresetsCompatibleWithAsset:anAsset];
if ([compatiblePresets containsObject:AVAssetExportPresetLowQuality]) {
AVAssetExportSession *exportSession = [[AVAssetExportSession alloc] initWithAsset:anAsset presetName:AVAssetExportPresetLowQuality];
exportSession.outputURL = <#A file URL#>;
exportSession.outputFileType = AVFileTypeQuickTimeMovie;
CMTime start = CMTimeMakeWithSeconds(1.0, 600);
CMTime duration = CMTimeMakeWithSeconds(3.0, 600);
CMTimeRange range = CMTimeRangeMake(start, duration);
exportSession.timeRange = range;
[exportSession exportAsynchronouslyWithCompletionHandler:^{
switch ([exportSession status]) {
case AVAssetExportSessionStatusFailed:
NSLog(@"Export failed: %@", [[exportSession error] localizedDescription]);
break;
case AVAssetExportSessionStatusCancelled:
NSLog(@"Export canceled");
break;
default:
break;
}
}];
}
此外，我们还可以用 cancelExport 接口来取消导出。
当我们想要覆盖已有的文件，或者向应用沙盒外写文件时，导出会失败。此外，在导出时突然来了电话、导出时应用在后台状态并且其他应用开始播放时导出也可能会失败。在这些情况下，你需要提示用户导出失败，并允许用户重新导出。
