iOS AVFoundation 视频暂停 多视频合成 流程

iOS AVFoundation 视频暂停 多视频合成 流程

AVCaptureSession 只有开始和结束 编码的方法 。他并没有暂停的接口 。

所以我们要做暂停就有两种思路 。

• 点击暂停，就执行 stopRunning 方法 。恢复录制的时候重新录制下一个 。这样就录制了多个小视频 。然后手动把他们拼接起来 。
• 点击暂停的时候，CMSampleBufferRef 不写入 。恢复录制的时候，再继续写入 。

两种方法对应的功能点:

• 多段视频的拼接
• 时间偏移量（就是暂停的时候）的计算

音视频中的时间 CMTime

一个c结构体 ，包括：

• typedef int64_t CMTimeValue : 分子

• typedef int32_t CMTimeScale : 分母 (必须为正，vidio文件的推荐范围是movie files range from 600 to 90000)

• typedef int64_t CMTimeEpoch : 类似循环次数(eg, loop number)加减法必须在同一个 epoch内

• uint32_t, CMTimeFlags :标记位 (一个枚举值)

        kCMTimeFlags_Valid = 1UL<<0,(必须设置 ，否则CMTime无效)
        kCMTimeFlags_HasBeenRounded = 1UL<<1,
        kCMTimeFlags_PositiveInfinity = 1UL<<2,(正无穷)
        kCMTimeFlags_NegativeInfinity = 1UL<<3,(负无穷)
        kCMTimeFlags_Indefinite = 1UL<<4,(时间未定的时候，如实况直播的时候)
        kCMTimeFlags_ImpliedValueFlagsMask = 
        kCMTimeFlags_PositiveInfinity |     
        kCMTimeFlags_NegativeInfinity |     
        kCMTimeFlags_Indefinite
  

second=value/timescale

• 加法
  CMTime t3 = CMTimeAdd(t1, t2);

• 减法
  CMTime t4 = CMTimeSubtract(t3, t1);

• 获取second

Float64 CMTimeGetSeconds(CMTime time)

• CMTimeRange
  表示时间范围的一个数据类型 结构体：

  • CMTime : start起始时间
  • CMTime : duration 持续时间

创建

• CMTimeRange timeRange1 = CMTimeRangeMake(start, duration);
• CMTimeRange timeRange2 = CMTimeRangeFromTimeToTime(t4, t3);

计算连个时间段的交集并集

• 交叉时间范围
  CMTimeRange intersectionRange = CMTimeRangeGetIntersection(timeRange2, timeRange1);
• 总和时间范围
  CMTimeRange unionRange = CMTimeRangeGetUnion(timeRange1, timeRange2);

--

（一）时间偏移量（就是暂停的时候）的计算

首先暂停的时候设置标志 discont = YES .

然后我们的操作都是在 CMSampleBufferRef 的编码回调中进行

- (void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection;

• 第一种，如果是暂停的时候，进来的buffer 全部丢弃

  if (self.discont) 
  {
      if (isVideo) 
          return;
  }
  

• 如果暂停结束，恢复录制 ，就要把buffer 传输给AVAssetWriter

  // 得到当前buffer 的时间
          CMTime pts = CMSampleBufferGetPresentationTimeStamp(sampleBuffer);
          CMTime last = isVideo ? _lastVideo : _lastAudio;
          if (last.flags & kCMTimeFlags_Valid) {
              
              // 一开始录制的时候  _timeOffset = CMTimeMake(0, 0);
  
              // kCMTimeFlags_Valid 是否有效
              if (_timeOffset.flags & kCMTimeFlags_Valid) {
                  // CMTime 减法
                  pts = CMTimeSubtract(pts, _timeOffset);
              }
              // 取得现在的时间 和 上一次时间 的时间差
              CMTime offset = CMTimeSubtract(pts, last);
              // 赋值给 _timeOfSet
              if (_timeOffset.value == 0) {
                  _timeOffset = offset;
              }else {
                  _timeOffset = CMTimeAdd(_timeOffset, offset);
              }
          }
          // 清空记录
          _lastVideo.flags = 0;
          _lastAudio.flags = 0;
      }
      
          sampleBuffer = [self adjustTime:sampleBuffer by:_timeOffset];
      
  

  //调整媒体数据的时间
  - (CMSampleBufferRef)adjustTime:(CMSampleBufferRef)sample by:(CMTime)offset {
  CMItemCount count;
  CMSampleBufferGetSampleTimingInfoArray(sample, 0, nil, &count);
  CMSampleTimingInfo* pInfo = malloc(sizeof(CMSampleTimingInfo) * count);
  CMSampleBufferGetSampleTimingInfoArray(sample, count, pInfo, &count);
  for (CMItemCount i = 0; i < count; i++) {
      pInfo[i].decodeTimeStamp = CMTimeSubtract(pInfo[i].decodeTimeStamp, offset);
      pInfo[i].presentationTimeStamp = CMTimeSubtract(pInfo[i].presentationTimeStamp, offset);
  }
  CMSampleBufferRef sout;
  CMSampleBufferCreateCopyWithNewTiming(nil, sample, count, pInfo, &sout);
  free(pInfo);
  return sout;
  

}

```

//记录住这次buffer 的时间       

```
//sampleBuffer的起点时间
    CMTime pts = CMSampleBufferGetPresentationTimeStamp(sampleBuffer);
    //sampleBuffer 的持续时间
    CMTime dur = CMSampleBufferGetDuration(sampleBuffer);
    if (dur.value > 0) {
        // 得到这个buffer 的结束时间，记录下来
        pts = CMTimeAdd(pts, dur);
    }
    if (isVideo) {
        _lastVideo = pts;
    }else {
        _lastAudio = pts;
    }

```     

最后就可以存储了。       

（二）多段视频的拼接

• 获取 录制好的一组 媒体资源 AVAsset

  for (NSURL *fileURL in fileURLArray) {
          AVAsset *asset = [AVAsset assetWithURL:fileURL];
          
          if (!asset) {
              continue;
          }
          
          [assetArray addObject:asset];
   }
  
  

• 对多个资源的操作需要用到 AVMutableComposition

  // 组成
      AVMutableComposition *mixComposition = [[AVMutableComposition alloc] init];
  

• AVMutableComposition给每一段资源生成对应的 音频轨道和视频轨道 ，把资源添加进轨道

  for (int i = 0; i < [assetArray count] ; i++) {
          
          AVAsset *asset = [assetArray objectAtIndex:i];
          AVAssetTrack *assetTrack = [assetTrackArray objectAtIndex:i];
          
          //一个 audio 轨道
          //AVMutableCompositionTrack provides a convenient interface for insertion, removals, and scaling of track
          //合成音频轨道    进行插入、缩放、删除
          AVMutableCompositionTrack *audioTrack = [mixComposition addMutableTrackWithMediaType:AVMediaTypeAudio preferredTrackID:kCMPersistentTrackID_Invalid];
          //把第一段录制的 audio 插入到 AVMutableCompositionTrack
          [audioTrack insertTimeRange:CMTimeRangeMake(kCMTimeZero, asset.duration)
                              ofTrack:[[asset tracksWithMediaType:AVMediaTypeAudio] objectAtIndex:0]
                               atTime:totalDuration
                                error:nil];
          //合成视频轨道
          AVMutableCompositionTrack *videoTrack = [mixComposition addMutableTrackWithMediaType:AVMediaTypeVideo preferredTrackID:kCMPersistentTrackID_Invalid];
          //把录制的第一段 视频轨道插入到 AVMutableCompositionTrack
          [videoTrack insertTimeRange:CMTimeRangeMake(kCMTimeZero, asset.duration)
                              ofTrack:assetTrack
                               atTime:totalDuration
                                error:&error];
                                
  }                                  
  

• 合成 需要使用AVAssetExportSession

  
      AVAssetExportSession *exporter = [[AVAssetExportSession alloc] initWithAsset:mixComposition presetName:AVAssetExportPresetMediumQuality];
      exporter.outputURL = mergeFileURL;
      exporter.outputFileType = AVFileTypeMPEG4;
      exporter.shouldOptimizeForNetworkUse = YES;
      [exporter exportAsynchronouslyWithCompletionHandler:^{
          dispatch_async(dispatch_get_main_queue(), ^{
              //如果转换成功
              if ( exporter.status == AVAssetExportSessionStatusCompleted)
              {
                  if ([_delegate respondsToSelector:@selector(videoRecorder:didFinishMergingVideosToOutPutFileAtURL:)]) {
                      [_delegate videoRecorder:self didFinishMergingVideosToOutPutFileAtURL:mergeFileURL];
                  }
  
              }
          });
      }];