二十九 AVFoundation采集视频获取纹理+MetalKi
2020-09-10 本文已影响0人
王俏
流程和步骤
功能划分
主要分为两个部分：
-
视频采集
通过AVFoundation进行视频数据的采集到，原始数据存储到CMSampleBufferRef中，
在AVCaptureVideoDataOutputSampleBufferDelegate的回调函数中，获取到原始数据存储到CMSampleBufferRef中中的数据，并通过CoreVideo将CMSampleBufferRef中存储的图像数据转换为Metal可以直接使用的纹理MTLTexture -
Metal对采集的图像帧进行渲染
采用MetalKit内置的MPSImageGaussianBlur滤镜对纹理渲染（MetalKit对视频图像的渲染等同于AVCaptureVideoPreviewLayer预览）
分为以下几个步骤
1. 准备工作
image
-
导入库 MetalKit.framework
-
模块化导入
- MetalKit
- AVFoundation
- CoreMedia
-
导入头文件
#import <MetalPerformanceShaders/MetalPerformanceShaders.h>
- 协议实现
- 渲染MTKViewDelegate
- 视频捕捉AVCaptureVideoDataOutputSampleBufferDelegate
AVFoundation 视频采集回调方法
2. 内置属性
[图片上传失败...(image-bd3f5c-1599700474574)]
-
MTKView
MTKView *_view; -
数据传递Session
AVCaptureSession *mCaptureSession; -
从AVCaptureDevice获得输入数据
AVCaptureDeviceInput *mCaptureDeviceInput -
输出设备
AVCaptureVideoDataOutput *mCaptureDeviceOutput -
处理队列
dispatch_queue_t mProcessQueue -
纹理缓存区
CVMetalTextureCacheRef textureCache -
命令队列
id<MTLCommandQueue> commandQueue -
纹理
id<MTLTexture> texture
3. viewDidLoad
image
-
Metal相关初始化 setupMetal
- 创建并添加MTKView，设置代理
- 创建命令队列
- 允许帧缓冲区读写操作
- 创建纹理缓冲区
-
视频捕捉初始化 setupCaptureSession
- 创建mCaptureSession
- 创建串行队列 mProcessQueue
- 获取摄像头设备 AVCaptureDevice
- 将AVCaptureDevice 转换为AVCaptureDeviceInput
- 将设备添加到mCaptureSession中
- 创建AVCaptureVideoDataOutput 对象
- 设置视频帧延迟到底时是否丢弃数
- 设置采样格式为BGRA
- 设置视频捕捉输出的代理
- 添加输出到mCaptureSession
- 输入与输出链接
- 设置视频方向
- 开始捕捉
4.视频采集回调协议
AVCaptureVideoDataOutputSampleBufferDelegate
image
-captureOutput:
didOutputSampleBuffer:
fromConnection:
- 从sampleBuffer 获取视频像素缓存区对象
- 获取捕捉视频的宽和高
- 根据视频像素缓存区 创建 Metal 纹理缓存区
CVMetalTextureCacheCreateTextureFromImage - 判断tmpTexture 是否创建成功
- 设置可绘制纹理的当前大小。
- 返回纹理缓冲区的Metal纹理对象
- 释放tmpTexture
5.渲染MTKViewDelegate
image
- 视图大小发生改变时.会调用此方法
-mtkView: drawableSizeWillChange: - 视图渲染则会调用此方法
-drawInMTKView:- 判断是否获取了AVFoundation 采集的纹理数据
- 创建指令缓冲 MTLCommandBuffer
- 将MTKView 作为目标渲染纹理MTLTexture
- 设置滤镜 MPSImageGaussianBlur
- 设置滤镜的输入输出
- 展示显示的内容 presentDrawable
- 提交命令
- 清空当前纹理,准备下一次的纹理数据读取
代码执行流程
image
