Metal视频采集-即时渲染

2020-09-02 本文已影响0人 lkm_0bdc

流程图.png

之前我们都是根据苹果的建议，将Metal语言封装起来调用，案例中我们将在ViewController直接使用。

摄像头的采集不是通过 $\color{#FF0000}{Metal}$ 来完成，所有ios业务端关于视频的采集都是通过 $\color{#FF0000}{AVFoundation}$ 来采集，采集完之后会把数据存放在 $\color{#FF0000}{CMSampleBufferRef（metal/音视频 -->基本数据）}$ 的结构体中。

捕获到的数据只是音视频数据（音频播放，视频显示到屏幕上）， $\color{#FF0000}{AVFoundation}$ 采集到的数据 $\color{#FF0000}{没有进行压缩}$ ，捕获的是 $\color{#FF0000}{原始数据}$ （是一个二进制数据没有格式）包含音频数据和视频数据，根据业务要求变成MP4文件（压缩的视频容器）其中包含音频文件（aac 编码格式）和视频文件（h264 编码格式）

jpg和png都是压缩图片，命名不同是因为编码格式不同。压缩统称编码。

实现思路

通过AVFoundation采集数据，采集的是一个CMSampleBufferRef的结构体。
采集的数据通过CoreVideo图像数据转化Metal可以用的纹理
Metal的纹理渲染

注意：业务开发中是不需要那么麻烦的，可以通过AVFoundation提供的layer AVCaptureVideoPreviewLayer用来直接预览就可以了。

viewDidLoad流程图.png

主要分为模块讲解

setupMetal
setupCaptureSession

setupMetal

在开始渲染之前我们需要做准备工作，需要创建一个MTKView视图，创建重要的device，并把自己设置代理。

   self.mtkView = [[MTKView alloc] initWithFrame:self.view.bounds];
    self.mtkView.device = MTLCreateSystemDefaultDevice();
    [self.view insertSubview:self.mtkView atIndex:0];
    self.mtkView.delegate = self;

最后，我们还需要通过device创建队列，device是一切操作的根本。

self.commandQueue = [self.mtkView.device newCommandQueue];

在初始化MTKView 的基本操作以外. 还需要多下面2行代码。

$\color{#FF0000}{framebufferOnly}$ 默认是只读（yes），因为我们需要用到纹理，所以这里需要设置NO（可读写）。
通过 $\color{#FF0000}{CVMetalTextureCacheCreate}$ 方法创建 $\color{#FF0000}{CoreVideo}$ 中的 $\color{#FF0000}{Metal纹理缓存区}$ ，采集的视频数据是通过CoreVideo转换成Metal纹理，目的用于存储转换后的Metal纹理。

 /*
     1. 设置MTKView 的drawable 纹理是可读写的(默认是只读);
     2. 创建CVMetalTextureCacheRef _textureCache; 这是Core Video的Metal纹理缓存
     */
    //允许读写操作
    self.mtkView.framebufferOnly = NO;
    /*
     CVMetalTextureCacheCreate(CFAllocatorRef  allocator,
     CFDictionaryRef cacheAttributes,
     id <MTLDevice>  metalDevice,
     CFDictionaryRef  textureAttributes,
     CVMetalTextureCacheRef * CV_NONNULL cacheOut )
     
     功能: 创建纹理缓存区
     参数1: allocator 内存分配器.默认即可.NULL
     参数2: cacheAttributes 缓存区行为字典.默认为NULL
     参数3: metalDevice
     参数4: textureAttributes 缓存创建纹理选项的字典. 使用默认选项NULL
     参数5: cacheOut 返回时，包含新创建的纹理缓存。
     
     */
    CVMetalTextureCacheCreate(NULL, NULL, self.mtkView.device, NULL, &_textureCache);

setupCaptureSession

初始化视频采集的准备工作，以及视频数据的播放等相关操作主要以下步骤。

AVCaptureSession初始化以及分辨率的设置

 //1.创建mCaptureSession
    self.mCaptureSession = [[AVCaptureSession alloc] init];
    //设置视频采集的分辨率
    self.mCaptureSession.sessionPreset = AVCaptureSessionPreset1920x1080;

创建串行队列

self.mProcessQueue =dispatch_queue_create("mProcessQueue", DISPATCH_QUEUE_SERIAL);

创建串行队列的目的在于处理CaptureSession的交互，不影响主队，防止产生阻塞苹果官方文档，下面的图是关于captureSession如何管理设备的输入输出，以及和主线程的关系。

9E4DF86F-5C75-4340-8A6B-E706AB39616E.png

输入设备
- 通过 $\color{#FF0000}{AVCaptureDevice}$ 的 $\color{#FF0000}{devicesWithMediaType}$ 获取摄像头设备，遍历设备数组，找到需要的摄像头，这里获取的是后置摄像头使用。
- 因为 $\color{#FF0000}{AVCaptureDevice}$ 设备无法直接使用，需要转换成 $\color{#FF0000}{AVCaptureDeviceInput}$ 。
- 需要判断是否添加这个设备作为我的输入和与我的应用建立关系，如果可以就添加设备。

 //3.获取摄像头设备(前置/后置摄像头设备)
    NSArray *devices = [AVCaptureDevice devicesWithMediaType:AVMediaTypeVideo];
    AVCaptureDevice *inputCamera = nil;
    //循环设备数组,找到后置摄像头.设置为当前inputCamera
    for (AVCaptureDevice *device in devices) {
        if ([device position] == AVCaptureDevicePositionBack) {
            inputCamera = device;
        }
    }
    
    //4.将AVCaptureDevice 转换为AVCaptureDeviceInput （没有办法直接使用device需要转化）
    self.mCaptureDeviceInput = [[AVCaptureDeviceInput alloc] initWithDevice:inputCamera error:nil];
    
    //5. 将设备添加到mCaptureSession中
    if ([self.mCaptureSession canAddInput:self.mCaptureDeviceInput]) {
        [self.mCaptureSession addInput:self.mCaptureDeviceInput];
    }

输出设备
- 创建 $\color{#FF0000}{AVCaptureVideoDataOutput}$ 对象
- 设置setAlwaysDiscardsLateVideoFrames方法即视频帧延迟时是否丢弃数据。
- 这里设置格式为BGRA，而不用YUV的颜色空间，避免使用Shader转换（每一个像素点颜色保持的格式）
- 设置视频捕捉输出的代理方法
- 判断是否可以将输出设备添加到CaptureSession中

//6.创建AVCaptureVideoDataOutput 对象
    self.mCaptureDeviceOutput = [[AVCaptureVideoDataOutput alloc] init];
    
    /*设置视频帧延迟到底时是否丢弃数据.
     YES: 处理现有帧的调度队列在captureOutput:didOutputSampleBuffer:FromConnection:Delegate方法中被阻止时，对象会立即丢弃捕获的帧。
     NO: 在丢弃新帧之前，允许委托有更多的时间处理旧帧，但这样可能会内存增加.
     */
    [self.mCaptureDeviceOutput setAlwaysDiscardsLateVideoFrames:NO];
    
    //这里设置格式为BGRA，而不用YUV的颜色空间，避免使用Shader转换（每一个像素点颜色保持的格式）
    //注意:这里必须和后面CVMetalTextureCacheCreateTextureFromImage 保存图像像素存储格式保持一致.否则视频会出现异常现象.
    [self.mCaptureDeviceOutput setVideoSettings:[NSDictionary dictionaryWithObject:[NSNumber numberWithInt:kCVPixelFormatType_32BGRA] forKey:(id)kCVPixelBufferPixelFormatTypeKey]];
    
    //设置视频捕捉输出的代理方法
    [self.mCaptureDeviceOutput setSampleBufferDelegate:self queue:self.mProcessQueue];
    
    //7.添加输出
    if ([self.mCaptureSession canAddOutput:self.mCaptureDeviceOutput]) {
        [self.mCaptureSession addOutput:self.mCaptureDeviceOutput];
    }

输入输出的链接以及设置视频输出方向

 //8.输入与输出链接
    AVCaptureConnection *connection = [self.mCaptureDeviceOutput connectionWithMediaType:AVMediaTypeVideo];
    
    //9.设置视频方向
    //注意: 一定要设置视频方向.否则视频会是朝向异常的.
    [connection setVideoOrientation:AVCaptureVideoOrientationPortrait];

开始捕捉即开始视频采集
可以通过按钮来控制是否采集视频，或者停止采集

$\color{#FF0000}{startRunning}$ :开启捕捉
$\color{#FF0000}{stopRunning}$ :停止捕捉

    //10.开始捕捉
    [self.mCaptureSession startRunning];

AVCaptureVideoDataOutputSampleBufferDelegate方法

视频采集的同时，采集到的视频数据，即视频帧会自动回调视频采集回调方法，处理采集到的原始数据转换为Metal纹理。

视频采集流程图.png

通过CMSampleBufferGetImageBuffer函数从sampleBuffer形参中获取视频像素缓存区对象，即视频帧数据就是平常说的位图。

 //1.从sampleBuffer 获取视频像素缓存区对象
    CVPixelBufferRef pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);

捕捉视频帧的宽高
通过 $\color{#FF0000}{CoreVideo}$ 中的 $\color{#FF0000}{CVPixelBufferGetWidth}$ 和 $\color{#FF0000}{CVPixelBufferGetHeight}$ 函数获取。

    size_t width = CVPixelBufferGetWidth(pixelBuffer);
    size_t height = CVPixelBufferGetHeight(pixelBuffer);

根据视频像素缓存区获取Metal纹理缓存区
- 通过 $\color{#FF0000}{CVMetalTextureRef}$ 创建临时纹理
- 通过 $\color{#FF0000}{CVMetalTextureCacheCreateTextureFromImage}$ 函数创建 $\color{#FF0000}{Metal纹理缓存区}$ ，赋值给临时纹理。

  CVReturn CVMetalTextureCacheCreateTextureFromImage(CFAllocatorRef allocator,                         CVMetalTextureCacheRef textureCache,
     CVImageBufferRef sourceImage,
     CFDictionaryRef textureAttributes,
     MTLPixelFormat pixelFormat,
     size_t width,
     size_t height,
     size_t planeIndex,
     CVMetalTextureRef  *textureOut);
     
     功能: 从现有图像缓冲区创建核心视频Metal纹理缓冲区。
     参数1: allocator 内存分配器,默认kCFAllocatorDefault
     参数2: textureCache 纹理缓存区对象
     参数3: sourceImage 视频图像缓冲区
     参数4: textureAttributes 纹理参数字典.默认为NULL
     参数5: pixelFormat 图像缓存区数据的Metal 像素格式常量.注意如果MTLPixelFormatBGRA8Unorm和摄像头采集时设置的颜色格式不一致，则会出现图像异常的情况；
     参数6: width,纹理图像的宽度（像素）
     参数7: height,纹理图像的高度（像素）
     参数8: planeIndex.如果图像缓冲区是平面的，则为映射纹理数据的平面索引。对于非平面图像缓冲区忽略。
     参数9: textureOut,返回时，返回创建的Metal纹理缓冲区。
     
     // Mapping a BGRA buffer:
     CVMetalTextureCacheCreateTextureFromImage(kCFAllocatorDefault, textureCache, pixelBuffer, NULL, MTLPixelFormatBGRA8Unorm, width, height, 0, &outTexture);
     
     // Mapping the luma plane of a 420v buffer:
     CVMetalTextureCacheCreateTextureFromImage(kCFAllocatorDefault, textureCache, pixelBuffer, NULL, MTLPixelFormatR8Unorm, width, height, 0, &outTexture);
     
     // Mapping the chroma plane of a 420v buffer as a source texture:
     CVMetalTextureCacheCreateTextureFromImage(kCFAllocatorDefault, textureCache, pixelBuffer, NULL, MTLPixelFormatRG8Unorm width/2, height/2, 1, &outTexture);
     
     // Mapping a yuvs buffer as a source texture (note: yuvs/f and 2vuy are unpacked and resampled -- not colorspace converted)
     CVMetalTextureCacheCreateTextureFromImage(kCFAllocatorDefault, textureCache, pixelBuffer, NULL, MTLPixelFormatGBGR422, width, height, 1, &outTexture);
     
     */
    CVMetalTextureRef tmpTexture = NULL;
    CVReturn status = CVMetalTextureCacheCreateTextureFromImage(kCFAllocatorDefault, self.textureCache, pixelBuffer, NULL, MTLPixelFormatBGRA8Unorm, width, height, 0, &tmpTexture);

判断纹理创建成功
- 设置 $\color{#FF0000}{MTKView}$ 中的 $\color{#FF0000}{drawableSize}$ ，即可绘制纹理大小
- 通过 $\color{#FF0000}{CVMetalTextureGetTexture}$ 获取 $\color{#FF0000}{Metal}$ 纹理对象
- 使用完毕，释放临时纹理tmpTexture

 if(status == kCVReturnSuccess)
    {
        //5.设置可绘制纹理的当前大小。
        self.mtkView.drawableSize = CGSizeMake(width, height);
        //6.返回纹理缓冲区的Metal纹理对象。
        self.texture = CVMetalTextureGetTexture(tmpTexture);
        //7.使用完毕,则释放tmpTexture
        CFRelease(tmpTexture);
    }

题外：如何判断采集的数据是音视频还是视频
主要有以下两种方式：

通过AVCaptureConnection 判断
在采集回调方法captureOutput: didOutputSampleBuffer: fromConnection:中判断全局的connection是否等于代理方法connection，如果想到就是视频，不等就是音频。

通过AVCaptureOutput判断
在采集回调方法captureOutput: didOutputSampleBuffer: fromConnection:中判断output形参的类型，如果是AVCaptureVideoDataOutput类型则是视频，反之时音频。

MTKViewDelegate方法

获取的Metal纹理即刻渲染并显示到屏幕上，通过 $\color{#FF0000}{MTKViewDelegate}$ 代理的 $\color{#FF0000}{drawInMTKView}$ 显示并渲染。

视频渲染流程.png

通过AVFoundation采集纹理数据
- 通过 $\color{#FF0000}{MTLCommandQueue}$ 命令队列创建指令缓存区 $\color{#FF0000}{MTLCommandBuffer}$
- 将MTKView 作为目标渲染纹理

//2.创建指令缓冲
        id<MTLCommandBuffer> commandBuffer = [self.commandQueue commandBuffer];
        
        //3.将MTKView 作为目标渲染纹理
        id<MTLTexture> drawingTexture = view.currentDrawable.texture;

设置滤镜
*是Metal的一个集成库，有一些滤镜处理的Metal实现;
- $\color{#FF0000}{MPSImageGaussianBlur}$ 高斯模糊处理，高斯模糊在渲染时，会触发离屏渲染，sigma值可以修改，sigma值越高图像越模糊;
- 此时的滤镜就等价于Metal中的 $\color{#FF0000}{MTLRenderCommandEncoder}$ 渲染命令编辑器，类似于GLSL中的 $\color{#FF0000}{program}$ 。

        //创建高斯滤镜处理filter
        //注意:sigma值可以修改，sigma值越高图像越模糊;
        MPSImageGaussianBlur *filter = [[MPSImageGaussianBlur alloc] initWithDevice:self.mtkView.device sigma:1];
        
        //5.MPSImageGaussianBlur以一个Metal纹理作为输入，以一个Metal纹理作为输出；
        //输入:摄像头采集的图像 self.texture
        //输出:创建的纹理 drawingTexture(其实就是view.currentDrawable.texture)
        [filter encodeToCommandBuffer:commandBuffer sourceTexture:self.texture destinationTexture:drawingTexture];

通过presentDrawable显示内容
提交渲染
清空当前渲染，为了下次纹理渲染，但是不清空也可以，纹理会进行覆盖
```
```
```

//6.展示显示的内容
[commandBuffer presentDrawable:view.currentDrawable];

    //7.提交命令
    [commandBuffer commit];
    
    //8.清空当前纹理,准备下一次的纹理数据读取.
    self.texture = NULL;

可以下载demo了解[Github](https://github.com/lkm-ivy/MetalRenderCamera.git)