audio&videoiOS Developer程序员

iOS上的设备的采集篇

2016-12-22  本文已影响386人  Link913

前言

如果只是单纯的想快速实现iOS端的采集,编码,推流,美颜,第三方框架或者商业SDK都能够快速实现,并且使用方便,易于上手,如果有什么不懂的地方问客服也基本上能够尽快的给你解决.由于公司需求的奇葩性我没办法使用市场上现有的轮子,只能自己去写.

LFLiveKit

这是我接触的第一个比较方便的框架吧,使用起来也很简单,这是框架在github上的地址:链接

使用步骤

使用范例

我个人感觉作者readme写的还是比较简单的,我这里会详细的写写,我自己写的demo地址:链接,如果文章描述的不清楚大家可以看看具体demo.

-(LFLiveSession *)session{
        if (nil == _session) {
            /**
             默认音频质量 audio sample rate: 44MHz(默认44.1Hz iphoneg6以上48Hz), audio bitrate: 64Kbps
             分辨率： 540 *960 帧数：30 码率：800Kps
             方向竖屏
             */
            
            // 视频配置(质量 & 是否是横屏)可以点进去看
            _session = [[LFLiveSession alloc] initWithAudioConfiguration:[LFLiveAudioConfiguration defaultConfiguration] videoConfiguration:[LFLiveVideoConfiguration defaultConfigurationForQuality:LFLiveVideoQuality_Medium3 landscape:NO]];
            
            _session.delegate = self;
            _session.showDebugInfo = self;
            _session.preView = self.view;
        }
        return _session;
    }

这里的url我是这么使用的,使用nginx服务器, Mac上是很好配置的,然后下载VLC,这里的URL就是rtmp://(你的ip):1935/rtmplive/room,将他配置到VLC应该代码完成后就可以正常推流显示了.

        LFLiveStreamInfo * sterm = [LFLiveStreamInfo new];
        
        sterm.url = @"rtmp://192.168.1.42:1935/rtmplive/room";
        
        [self.session startLive:sterm];

具体的参数可以自己调,我个人觉得他的美颜效果还是不错的.

设置self.session.beautyFace为Yes或者No

通过AVCaptureTorchMode这个类对其进行控制.

iOS10中应该是要在plist文件中再加入一些键值对的.

- (void)requestAccessForVideo {
        @weakify(self);
        AVAuthorizationStatus status = [AVCaptureDevice authorizationStatusForMediaType:AVMediaTypeVideo];
        switch (status) {
            case AVAuthorizationStatusNotDetermined: {
                // 许可对话没有出现，发起授权许可
                [AVCaptureDevice requestAccessForMediaType:AVMediaTypeVideo completionHandler:^(BOOL granted) {
                    if (granted) {
                        dispatch_async(dispatch_get_main_queue(), ^{
                            @strongify(self);
                            [self.session setRunning:YES];
                        });
                    }
                }];
                break;
            }
            case AVAuthorizationStatusAuthorized: {
                // 已经开启授权，可继续
                dispatch_async(dispatch_get_main_queue(), ^{
                    @strongify(self);
                    [self.session setRunning:YES];
                });
                break;
            }
            case AVAuthorizationStatusDenied:
            case AVAuthorizationStatusRestricted:
                // 用户明确地拒绝授权，或者相机设备无法访问
                
                break;
            default:
                break;
        }
    }

    - (void)requestAccessForAudio {
        AVAuthorizationStatus status = [AVCaptureDevice authorizationStatusForMediaType:AVMediaTypeAudio];
        switch (status) {
            case AVAuthorizationStatusNotDetermined: {
                [AVCaptureDevice requestAccessForMediaType:AVMediaTypeAudio completionHandler:^(BOOL granted) {
                }];
                break;
            }
            case AVAuthorizationStatusAuthorized: {
                break;
            }
            case AVAuthorizationStatusDenied:
            case AVAuthorizationStatusRestricted:
                break;
            default:
                break;
        }
    }

至此如果你只是想快速实现推流那么就已经结束了,可以不必看下文了.

使用系统方法获取数据(不带美颜效果)

一般情况下我们是不考虑这种方法的,因为当今直播市场非常火爆,如果你直接做一个不带美颜功能的,我想你这app估计很多主播都不好意思用吧,这里只是以介绍为主.

设置代理的时候注意遵守着两个协议

AVCaptureVideoDataOutputSampleBufferDelegate
AVCaptureAudioDataOutputSampleBufferDelegate

这两个协议的代理方法是我们后面获取SampleBuffer的途径

    /**
     创建输出
     */
    -(void)createOutput{
        
        //创建队列
        dispatch_queue_t queue = dispatch_queue_create(DISPATCH_QUEUE_PRIORITY_DEFAULT, NULL);
        
        //创建视频输出数据
        self.videoDataOutput = [[AVCaptureVideoDataOutput alloc]init];
        
        //设置代理和队列
        [self.videoDataOutput setSampleBufferDelegate:self queue:queue];
        
        //抛弃过期帧，保证实时性
        self.videoDataOutput.alwaysDiscardsLateVideoFrames = YES;
        
        //设置参数
        NSDictionary * settings = @{(__bridge id)kCVPixelBufferPixelFormatTypeKey:@(kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange)};
        self.videoDataOutput.videoSettings = settings;
        
        //创建音频输出数据
        self.audioDataOutput = [[AVCaptureAudioDataOutput alloc]init];
        [self.audioDataOutput setSampleBufferDelegate:self queue:queue];
    }

在这个代理方法里是获取音视频数据的地方,这里是我们对采集到的原始数据进行编码的地方,后面会讲到如何去编码,这个方法是能够区分音频和视频信息的.

-(void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection;

使用GPUimage

-(void)onInit{
        //摄像头初始化
        // AWGPUImageVideoCamera 继承自 GPUImageVideoCamera。继承是为了获取音频数据，原代码中，默认情况下音频数据发送给了 audioEncodingTarget。
        // 这个东西一看类型是GPUImageMovieWriter，应该是文件写入功能。果断覆盖掉processAudioSampleBuffer方法，拿到音频数据后自己处理。
        // 音频就这样可以了，GPUImage主要工作还是在视频处理这里。
        // 设置预览分辨率 self.captureSessionPreset是根据AWVideoConfig的设置，获取的分辨率。设置前置、后置摄像头。
        _videoCamera = [[AWGPUImageVideoCamera alloc] initWithSessionPreset:AVCaptureSessionPresetHigh cameraPosition:AVCaptureDevicePositionFront];
        
        //开启捕获声音
        [_videoCamera addAudioInputsAndOutputs];
        
        //设置输出图像方向，可用于横屏推流。
        _videoCamera.outputImageOrientation = UIInterfaceOrientationPortrait;
        
        //镜像策略，这里这样设置是最自然的。跟系统相机默认一样。
        _videoCamera.horizontallyMirrorRearFacingCamera = NO;
        _videoCamera.horizontallyMirrorFrontFacingCamera = YES;
        
        //设置预览view
        _gpuImageView = [[GPUImageView alloc] initWithFrame:self.view.bounds];
        [self.view addSubview:_gpuImageView];
        
        //初始化美颜滤镜
        _beautifyFilter = [[GPUImageBeautifyFilter alloc] init];
        
        //相机获取视频数据输出至美颜滤镜
        [_videoCamera addTarget:_beautifyFilter];
        
        //美颜后输出至预览
        [_beautifyFilter addTarget:_gpuImageView];
        
        // 到这里我们已经能够打开相机并预览了。
        // 因为要推流，除了预览之外，我们还要截取到视频数据。这就需要使用GPUImage中的GPUImageRawDataOutput，它能将美颜后的数据输出，便于我们处理后发送出去。
        // AWGPUImageAVCaptureDataHandler继承自GPUImageRawDataOutput，从 newFrameReadyAtTime 方法中就可以获取到美颜后输出的数据。
        // 输出的图片格式为BGRA。
        _dataHandler = [[AWGPUImageAVCaptureDataHandler alloc]initWithImageSize:CGSizeMake(self.view.frame.size.width, self.view.frame.size.height) resultsInBGRAFormat:YES ];
        [_beautifyFilter addTarget:_dataHandler];
        
        // 令AWGPUImageAVCaptureDataHandler实现AWGPUImageVideoCameraDelegate协议，并且让camera的awAudioDelegate指向_dataHandler对象。
        // 将音频数据转到_dataHandler中处理。然后音视频数据就可以都在_dataHandler中处理了。
        _videoCamera.awAudioDelegate = _dataHandler;
        
        //开始捕获视频
        [self.videoCamera startCameraCapture];
        
    }
上一篇 下一篇

猜你喜欢

热点阅读