AVFoundation框架的学习

最近公司项目中使用了视频拍摄(转码/限制大小/限制时长/限制分辨率)和视频播放功能, 所以赶紧看看Apple官文, 加固理论基础, 为后续开发做准备.

AVFoundation框架介绍

iOS中AVFoundation的结构

通常使用上层的api即可完成大部分开发需要.

• 如果只是简单的播放一个视频, 使用AVKit.
• 在iOS中, 如果对格式控制很低的情况下拍摄视频时使用UIKit(UIImagePickerController)

在AVFoundation中可以用到一些底层的数据结构, 比如时间相关, 透明度相关等等.

在AVFoundation框架中, 有两块内容: 1. 音频 2. 视频

• 要播放音频文件使用AVAudioPlayer
• 录制音频文件使用AVAudioRecorder

通过AVAudioSession可以控制音频的播放行为, 具体请看Audio Session Programming Guide.

下面是AVFoundation的几块内容或者说几大功能:

AVFoundation中多媒体的表示和使用

• AVAsset, AVFoundation中使用AVAsset来表示一个个多媒体文件. 一个AVAsset对象中包含了许多媒体文件信息, 比如标题, 时长, 大小等等.
• AVAsset有许多子类, 这些子类有用来从URL中获取media对象(见使用Assets), 或者用来合成新的media(见编辑功能)
• Asset对象中的基础数据成为通道(track), 比如音频通道, 视频通道等.
• 使用Asset对象时需要注意, 有时获取asset对象需要时间(比如计算mp3文件的时长), 所以可以异步获取asset后, 再使用Block回调通知主线程.

播放

• AVFoundation将Asset对象的状态表示和Asset对象分离, 这样可以同时在同一asset对象上以不同分辨率方式播放不同部分.
• asset对象的状态表示使用player对象进行管理.
• 使用palyer对象来播放Asset的内容, 还可以将player对象放到Core Animation的layer上, 使用player queue来顺序播放一组player对象

编辑Asset

• 可以对现有的asset进行重组编码, iOS 4.1后可以改变asset的内容, 并输出.
• 使用export session来改变现有的asset的编码, 如果要完全控制转换过程, 可以联合使用asset writer和asset reader两个对象来达到目的.
• 如果要输出可见waveform, 可以使用asset reader来读取asset的音频通道

缩略图 Thumbnails

视频缩略图使用AVAssetImageGenerator 对象从asset中获取.

编辑

• AVFoundation使用compositions对象使用现有的多谋体材料(一个或多个视频+音频通道)创建新的asset.
• 通过可变的composition可以添加/删除/调整顺序tracks,
• composition对象是多媒体在内存的一片组成部分. 通过export session可以将其导出为文件
• 另外还可以通过多媒体文件(比如sample buffers或者静态图片'still images')创建一个信息的asset

视频录制和拍摄图片

• 通过capture session来使用摄像头和麦克风来录制多媒体文件.
• capture session对象使用输入设备产生的数据流来生产比如视频文件.
• 这个session对象有inputs和outputs来配置录制行为, 有start和stop等方法控制录制流, 而且session在开启录制后, 也可以改变inputs或outputs配置.
• 另外使用preview layer来展示录制的视频给用户进行预览.

AVFoundation中使用并发编程

• 来自AVFoundation的回调(blocks, key-value observers, 或notification handlers的调用)不保证在任何特定线程或队列上进行. 而是在AVFoundation在执行内部任务的线程或队列上调用.
• 对通知和线程一般有两种准则:
  • UI相关通知的发生在主线程
  • 需要你创建和/或指定队列的类或方法将在该队列上返回通知
• 除了这两个准则(还有一些例外,在参考文档中已有说明),你不应假定会在任何特定线程上返回通知

后续章节主要围绕上面内容展开:

1. 待更新....