iOS-WebRTC怎么获取某帧图像
这篇文章主要是在开发中遇到了，需要在视频通话时，取出某帧图像，针对这帧图做后续操作的求，话不多说，直接画重点。
相信搜这个问题的兄弟基本已经开发了一段时间的WebRTC，所以下面不做基础的介绍，直接告诉你位置。
使用的webrtc版本为2018年3月的某个版本，具体记不清了。当我们创建本地视频流的时候都会用到如下代码
#pragma mark -- 创建本地视频流
- (RTCVideoTrack *)createLocalVideoTrack:(CameraPosition)cameraPosition { RTCMediaConstraints *cameraConstraints = [[RTCMediaConstraints alloc] initWithMandatoryConstraints:[self currentMediaConstraint] optionalConstraints: nil];
RTCAVFoundationVideoSource *source = [self.factory avFoundationVideoSourceWithConstraints:cameraConstraints];
RTCVideoTrack *localVideoTrack = [self.factory videoTrackWithSource:source trackId:kARDVideoTrackId];
//这里是重点，找到你项目中创建的本地RTCVideoTrack(这个在开发中一定是会用到的，细心找下就好，创建方法应该都和我写的这个函数类似)，然后添加代理到本地，有兴趣的朋友可以点进RTCVideoTrack类里看下方法，在某个类添加代理后，并实现代理方法，便可以在这个类里回调回来视频的每一帧图片了
[localVideoTrack addRenderer:self];
localView上 self.localView.captureSession = source.captureSession;
return localVideoTrack;
}
记得在加代理的类里加上遵循协议，上面代码里[localVideoTrack addRenderer:self];这里面的self就是JanusServiceManager这个类
@interface JanusServiceManager()<RTCVideoRenderer>
再然后在你这个类里实现代理方法
#pragma mark -- RTCVideoRenderer---------------添加这个代理获取webrtc内部buffer转换image
- (UIImage *)renderFrame:(RTCVideoFrame *)frame {
//代理方法只能获取到RTCVideoFrame，感兴趣的可以在你项目里点进去看下里面的构成，我们下面做的就是从RTCVideoFrame里特有的buffer内转换成我们传统用到的UIImage，当然这个buffer还可以转成其他的格式供开发者使用，这个就看个人需求了，我这里只做一个普遍需求的转换
UIImage *image = [janusFactory convertRTVFrameToUIImage:frame rotation:frame.rotation isBackCamera:self.AVFoundationVideoSource.useBackCamera];
return image;
}
//下面这个是代理的另外一个方法，放在这就行，不用做任何操作，因为是必须实现的，不写会崩溃
- (void)setSize:(CGSize)size {
}
接下来是转换
传入RTCVideoFrame 后面的rotation是webrtc内部的一个枚举值，因为大家都知道摄像头取出来的图片经常由于你的横竖屏不同，取到的原始图片的rotation的都是不一样的，webrtc这里都会给出原始图片的旋转角度，rotation是为转换为UIImage成功之后，要把UIImage在旋转成正确的方向，这里的旋转方向可能见仁见智了，总之，只要你的UIImage能转成功，再去变化旋转都不是问题。isBackCamera是webrtc返回的用的是前摄像头还是后摄像头的参数，这个参数会影响最后图片的左右，后摄像头没有问题，前摄像头会发现图片被左右镜像转换了，需要再转回来。
//这里有个点需要说明下，webrtc在ios上的视频流的数据是YUVi420的，所以我们需要对应的方法把YUVI420的数据转换回RGB然后转成Image。如果你下载过webrtc的ios端的源码，你就会知道，其实它内部取视频流的时候跟我们平常使用相机取视频流时使用的方法都一样，文章最后会解释下。
+ (UIImage *)convertRTVFrameToUIImage:(RTCVideoFrame *)frame rotation:(int)rotation isBackCamera:(BOOL)isBackCamera{
RTCCVPixelBuffer *bufferrr = frame.buffer;
CVImageBufferRef imageBuffer = bufferrr.pixelBuffer;
CVPixelBufferLockBaseAddress(imageBuffer,0);
size_t width = CVPixelBufferGetWidth(imageBuffer);
size_t height = CVPixelBufferGetHeight(imageBuffer);
uint8_t *yBuffer = (uint8_t *)CVPixelBufferGetBaseAddressOfPlane(imageBuffer, 0);
size_t yPitch = CVPixelBufferGetBytesPerRowOfPlane(imageBuffer, 0);
uint8_t *cbCrBuffer = (uint8_t *)CVPixelBufferGetBaseAddressOfPlane(imageBuffer, 1);
size_t cbCrPitch = CVPixelBufferGetBytesPerRowOfPlane(imageBuffer, 1);
int bytesPerPixel = 4;
uint8_t *rgbBuffer = (uint8_t *)malloc(width * height * bytesPerPixel);
for(int y = 0; y < height; y++) {
uint8_t *rgbBufferLine = &rgbBuffer[y * width * bytesPerPixel];
uint8_t *yBufferLine = &yBuffer[y * yPitch];
uint8_t *cbCrBufferLine = &cbCrBuffer[(y >> 1) * cbCrPitch];
for(int x = 0; x < width; x++) {
int16_t y = yBufferLine[x];
int16_t cb = cbCrBufferLine[x & ~1] - 128;
int16_t cr = cbCrBufferLine[x | 1] - 128;
uint8_t *rgbOutput = &rgbBufferLine[x*bytesPerPixel];
int16_t r = (int16_t)roundf( y + cr * 1.4 );
int16_t g = (int16_t)roundf( y + cb * -0.343 + cr * -0.711 );
int16_t b = (int16_t)roundf( y + cb * 1.765);
rgbOutput[0] = 0xff;
rgbOutput[1] = clamp(b);
rgbOutput[2] = clamp(g);
rgbOutput[3] = clamp(r);
}
}
CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB();
CGContextRef context = CGBitmapContextCreate(rgbBuffer, width, height, 8, width * bytesPerPixel, colorSpace, kCGBitmapByteOrder32Little | kCGImageAlphaNoneSkipLast);
CGImageRef quartzImage = CGBitmapContextCreateImage(context);
UIImage *image = [UIImage imageWithCGImage:quartzImage];
//到这里 image其实已经转换成功了，这个时候你得到的image已经可以显示出来了，但是这张image可能在方向上还有问题，我下面根据自己遇到的情况做了转换，这里就比较灵活了，大家根据自己遇到的实际情况，进行调整即可
CGContextRelease(context);
CGColorSpaceRelease(colorSpace);
CGImageRelease(quartzImage);
free(rgbBuffer);
CVPixelBufferUnlockBaseAddress(imageBuffer, 0);
UIImageOrientation imageOrientation;
if (rotation == 90) {
imageOrientation = isBackCamera ?UIImageOrientationRight:UIImageOrientationLeftMirrored;
}
//下面这个方法，是对图片进行了方向矫正，后面会贴出实际实现代码，拿去直接用就好
UIImage *resultImage = [janusFactory fixOrientation:image rotation:imageOrientation];
return resultImage;
}
//下面是矫正图片方向的代码，直接用就好，可以根据实际情况多测试下，看看不同orientation会输出的实际效果
+ (UIImage *)fixOrientation:(UIImage *)image rotation:(UIImageOrientation)orientation
{
if (orientation == UIImageOrientationUp)
return self;
CGAffineTransform transform = CGAffineTransformIdentity;
switch (orientation) {
case UIImageOrientationDown:
case UIImageOrientationDownMirrored:
transform = CGAffineTransformTranslate(transform, CGImageGetWidth(image.CGImage), CGImageGetHeight(image.CGImage));
transform = CGAffineTransformRotate(transform, M_PI);
break;
case UIImageOrientationLeft:
case UIImageOrientationLeftMirrored:
transform = CGAffineTransformTranslate(transform, CGImageGetWidth(image.CGImage), 0);
transform = CGAffineTransformRotate(transform, M_PI_2);
break;
case UIImageOrientationRight:
case UIImageOrientationRightMirrored:
transform = CGAffineTransformTranslate(transform, 0, CGImageGetHeight(image.CGImage));
transform = CGAffineTransformRotate(transform, -M_PI_2);
break;
default:
break;
}
switch (orientation) {
case UIImageOrientationUpMirrored:
case UIImageOrientationDownMirrored:
transform = CGAffineTransformTranslate(transform, CGImageGetWidth(image.CGImage), 0);
transform = CGAffineTransformScale(transform, -1, 1);
break;
case UIImageOrientationLeftMirrored:
case UIImageOrientationRightMirrored:
transform = CGAffineTransformTranslate(transform, CGImageGetHeight(image.CGImage), 0);
transform = CGAffineTransformScale(transform, -1, 1);
break;
default:
break;
}
CGContextRef ctx = CGBitmapContextCreate(NULL, CGImageGetWidth(image.CGImage), CGImageGetHeight(image.CGImage),
CGImageGetBitsPerComponent(image.CGImage), 0,
CGImageGetColorSpace(image.CGImage),
CGImageGetBitmapInfo(image.CGImage));
CGContextConcatCTM(ctx, transform);
switch (orientation) {
case UIImageOrientationLeft:
case UIImageOrientationLeftMirrored:
case UIImageOrientationRight:
case UIImageOrientationRightMirrored:
CGContextDrawImage(ctx, CGRectMake(0,0,CGImageGetHeight(image.CGImage),CGImageGetWidth(image.CGImage)), image.CGImage);
break;
default:
CGContextDrawImage(ctx, CGRectMake(0,0,CGImageGetWidth(image.CGImage),CGImageGetHeight(image.CGImage)), image.CGImage);
break;
}
CGImageRef cgimg = CGBitmapContextCreateImage(ctx);
UIImage *img = [UIImage imageWithCGImage:cgimg];
CGContextRelease(ctx);
CGImageRelease(cgimg);
return img;
}
PS：这里说下为什么要用YUVI420的对应方法往回转，webrtc内部也是调用了传统摄像头获取数据的方法取数据的，这部分的实现在WebRTC 的 modules/video_capture/objc/rtc_video_capture_objc.mm 文件中实现了iOS视频采集相关的工作，这里下载了源码的朋友有兴趣可以去看下，我贴几段代码就可以简单解释这个问题
看起来很熟悉吧，其实也是通过capturesession和output来获取的数据，但是可以看到webrtc内部在设置output的时候使用的格式是kCVPixelFormatType_420YpCbCr8BiPlanarFullRange，和我们平时使用的kCVPixelFormatType_32BGRA是不一样的格式，所以上文里往回转的方法才用YUVI420的对应回转方法。转换代码是多了些，但重点是好用。
基本上获取帧图像的工作都完成了，上面展示的都是核心代码，往你自己项目里粘的时候肯定是需要稍微改动下的，如果找不到对应地方的朋友，或者其它转换不成功的问题，欢迎留言，看到会回复。
