iOS 视频+配音/音频合成

最近在做一个卡通配音的需求: 对卡通视频里面的对话进行配音, 然后再将所有录音与原视频合成, 输出一个配音视频.

在网上简单的搜索了相关资料学习后, 发现这个功能在iOS中实现比较简单, 不需要太复杂的逻辑和代码, 就可以实现.

视频配音的步骤:

1.准备好素材:需要配音的视频.mp4,背景音乐.mp3

2.根据视频内容进行对话录音

3.使用AVAssetExportSession类进行视频/音频合成, 输出一个全新的MP4文件

第一步: 准备工作, 获取视频和背景音乐文件路径, 以及最总合成输出路径

    // 声音来源
    NSURL *audioInputUrl = [NSURL fileURLWithPath:[[NSBundle mainBundle] pathForResource:@"背景音乐" ofType:@"mp3"]];
    // 视频来源
    NSURL *videoInputUrl = [NSURL fileURLWithPath:[[NSBundle mainBundle] pathForResource:@"视频" ofType:@"mp4"]];
    // 自定义视频输出地址
    NSString *outPutFilePath = [self getMixVideoOutputPath];
    // 合成之前, 先删除输出路径存在的同名MP4文件, 否则无法合成
    // 这样是因为, 我在合成的过程中发现, 如果输出路径上已经存在了, 名字一模一样的MP4文件, 那么合成的过程将会跳过, 也就是说它不会进行覆盖操作, 所以会导致合成失败
    NSURL *outputFileUrl = [NSURL fileURLWithPath:outPutFilePath];
    NSFileManager *fileManager = [NSFileManager defaultManager];
    [fileManager removeItemAtPath:outPutFilePath error:nil];

第二步: 将视频和背景音乐加入合成轨道

    // 设置时间起点为0, 这个参数在下面会用到
    CMTime nextClistartTime = kCMTimeZero;
    // 创建可变的音视频组合(这个就是用来处理轨道的类)
    AVMutableComposition *comosition = [AVMutableComposition composition];

处理视频轨道

    // 视频采集
    AVURLAsset *videoAsset = [[AVURLAsset alloc] initWithURL:videoInputUrl options:nil];
    // 视频时间范围
    CMTimeRange videoTimeRange = CMTimeRangeMake(kCMTimeZero, videoAsset.duration);
    // 视频通道 枚举 kCMPersistentTrackID_Invalid = 0
    // 这一行代码, 需要注意的是AVMediaTypeVideo这个参数, 这里表明的是, 将视频中的视频轨道抽离处理.因为一般一个视频包含了2个轨道:视频轨道 和 音频轨道.
    // 我们在这里把视频轨道从视频抽离出来, 拿到的视频轨道是无声的, 方便我们之后配音用
        AVMutableCompositionTrack *videoTrack = [comosition addMutableTrackWithMediaType:AVMediaTypeVideo preferredTrackID:kCMPersistentTrackID_Invalid];
    // 视频采集通道
    AVAssetTrack *videoAssetTrack = [[videoAsset tracksWithMediaType:AVMediaTypeVideo] firstObject];
    // 把采集轨道数据加入到可变轨道之中
    // insertTimeRange: 插入的视频范围(即视频本身的哪一段需要插入进去)
    // ofTrack:插入的轨道
    // tTime:插入的时间点(在合成的视频的时间点)
    [videoTrack insertTimeRange:videoTimeRange ofTrack:videoAssetTrack atTime:nextClistartTime error:nil];

处理背景音乐轨道

    // 声音采集
    AVURLAsset *audioAsset = [[AVURLAsset alloc] initWithURL:audioInputUrl options:nil];
    // 因为我使用的背景音乐时长和视频是一致的, 所以这里直接写了audioTimeRange = videoTimeRange
    CMTimeRange audioTimeRange = videoTimeRange;
    // 音频通道采集
    // 这里的处理和上面视频的处理是一样的道理, 把音频轨道AVMediaTypeAudio从视频抽离出来
    AVMutableCompositionTrack *audioTrack = [comosition addMutableTrackWithMediaType:AVMediaTypeAudio preferredTrackID:kCMPersistentTrackID_Invalid];
    // 音频采集通道
    AVAssetTrack *audioAssetTrack = [[audioAsset tracksWithMediaType:AVMediaTypeAudio] firstObject];
    // 加入合成轨道之中
    [audioTrack insertTimeRange:audioTimeRange ofTrack:audioAssetTrack atTime:CMTimeMakeWithSeconds(0, videoAsset.duration.timescale) error:nil];

处理录音轨道

    // 将所有录音逐个合成, 因为有很多个录音, 所以用for循环逐个插入
    for (NSInteger index = 0 ; index < self.item.items.count; index ++) {
        // 录音采集        AVURLAsset *recordAsset = [[AVURLAsset alloc] initWithURL:[self getRecordFilePathWithIndex:index] options:nil];
        // 插入范围
        CMTimeRange recordRange = CMTimeRangeMake(kCMTimeZero, recordAsset.duration);;
        // 创建录音轨道
        AVMutableCompositionTrack *recordTrack = [comosition addMutableTrackWithMediaType:AVMediaTypeAudio preferredTrackID:kCMPersistentTrackID_Invalid];
        AVAssetTrack *recordAssetTrack = [[recordAsset tracksWithMediaType:AVMediaTypeAudio] firstObject];
        //--------以下可以忽略-----------
        // 下面这段是获取录音插入时间点的计算, 需要自己定, 因为我的录音时间点包含早模型中, 所以需要在这里截取, 你们可以忽略
        DubbingItemsItem *item = self.item.items[index];
        NSRange startRange = [item.ftime rangeOfString:@":"];
        NSString *startMinStr = [item.ftime substringToIndex:startRange.location];
        NSString *startSecStr = [item.ftime substringFromIndex:startRange.location + 1];
        // 插入时间
        float startTime = [startMinStr floatValue] * 60 + [startSecStr floatValue];
        //--------以上可以忽略-----------
        [recordTrack insertTimeRange:recordRange ofTrack:recordAssetTrack atTime:CMTimeMakeWithSeconds(startTime, videoAsset.duration.timescale) error:nil];
    }

最后合成视频

    // 创建一个输出
    AVAssetExportSession *assetExport = [[AVAssetExportSession alloc] initWithAsset:comosition presetName:AVAssetExportPresetMediumQuality];
    // 输出类型, 这里有输出类型有很多中, AVFileTypeQuickTimeMovie/AVFileTypeMPEG4等等,说明支持很多种输出类型
    assetExport.outputFileType = AVFileTypeMPEG4;
    // 输出地址
    assetExport.outputURL = outputFileUrl;
    // 对视频进行优化, 具体不太明白什么意思, 文档里面说"indicates that the output file should be optimized for network use, e.g. that a QuickTime movie file should support "fast start"
    // 我才应该是为了让输出的视频,具备一些功能, 例如使用"QuickTime"这个软件可以"快速启动"这个视频. 大概这个意思
    assetExport.shouldOptimizeForNetworkUse = YES;
    
    // 在这里可以显示一个loading图, 等待合成完毕, 一般需要几秒钟
    
   [assetExport exportAsynchronouslyWithCompletionHandler:^{
        //NSLog(@"%zd", [assetExport status]);
        // 如果导出的状态为完成
        if ([assetExport status] == AVAssetExportSessionStatusCompleted) {
            // 回到主线程
            dispatch_async(dispatch_get_main_queue(), ^{
                // 调用播放方法
                NSLog(@"合成完毕:%@", outputFileUrl);
            });
        }
        
        if ([assetExport status] == AVAssetExportSessionStatusCancelled) {
            // 取消合成
            // 进度条归0, 处理UI
        }
        
        if ([assetExport status] == AVAssetExportSessionStatusFailed) {
            // 合成失败
            dispatch_sync(dispatch_get_main_queue(), ^{
                //  显示失败提示, 进度条归0
            });
        }
    }];
    
    // 进度条处理 
//  在模拟器上, 进度条会有显示, 因为合成速度慢
// 在真机上, 测试时发现 1分钟内的视频, 几乎是瞬间合成完毕, 所以进度条几乎没起到作用
//2018-3-29更新
dispatch_async(dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_LOW, 0), ^{
        while (assetExport.status == AVAssetExportSessionStatusExporting) {
            dispatch_sync(dispatch_get_main_queue(), ^{
                //NSLog(@"当前压缩进度:%f",assetExport.progress);
            });
        }
    });

到这里就合成配音的过程就全部完成了.
有任何不对的地方,或者不明白的地方, 欢迎提出