iOS音频

audioUnit混音

2017-11-22  本文已影响252人  FindCrt

demo地址，AudioMusicMixer这个target。

使用AudioUnitGraph来实现一个混音功能，受到官方混音例子的影响，做了一个不同输入源到不同声道的效果，如左边放音乐、右边放录音。

这个demo为了认识两点：1. AUGraph 2.audioUnit自带的混音。

AUGraph 是什么？

graph是图形的意思，它是指一个处理音频的组件组成的功能网络。比如录音组件、播放组件、混音组件、特效等，把它们组合在一起，构成一个音频数据处理的流程，可以不是线性的，那么就成了2维的图。通过对各种组件的自由组合，几乎可以完成你想要的任何需求。

如果了解滤镜，那么和这个网络结构也是类似的。

这个demo使用AUGraph构建一个流程：3个输入源，两个音频文件和一个录音(remoteIO的audioUnit),提供数据给mixer,每个输入源可以调整声道和声音大小。

流程类似 IOWithoutRenderCallback_2x.png

构建AUGraph

NewAUGraph(&processingGraph);
...
status = AUGraphAddNode(processingGraph, &playDesc, &recordPlayNode);
...
status = AUGraphAddNode(processingGraph, &mixerDesc, &mixerNode);
status = AUGraphOpen(processingGraph);

NewAUGraph新建,然后不断通过AUGraphAddNode添加节点，也就是一个处理组件。最后AUGraphOpen打开。

AUGraphAddNode的3个参数分别是：要添加的AUGraph、节点性质描述和节点变量。

属性描述使用AudioComponentDescription对象，对于录音和播放都使用：

    playDesc.componentType = kAudioUnitType_Output;
    playDesc.componentSubType = kAudioUnitSubType_RemoteIO;

而混音组件是：

    mixerDesc.componentType = kAudioUnitType_Mixer;
    mixerDesc.componentSubType = kAudioUnitSubType_MultiChannelMixer;

当然还有其他类型的混音组件，目前只研究了这个。

获取AudioUnit

开启之后，使用status = AUGraphNodeInfo(processingGraph, recordPlayNode, NULL, &recordPlayUnit);获取node对应的AudioUnit。可以使用audioUnit的大量功能函数来做复杂的处理。

在node之间建立连接
status = AUGraphConnectNodeInput(processingGraph, mixerNode, 0, recordPlayNode, 0);

参数分别是：AUGraph变量、前一个node、前一个node的element索引、后一个node、后一个node的element索引。

每个node都可能有多个输入输出流，每个对应一个element,可以理解为机器的连接线之类的。上面的这段代码就是：把mixerNode的element0输出连接到recordPlayNode的element0。

使用AUGraphConnect的好处是不需要我们编程处理数据了，两个node之间连接好之后，系统会处理它们之间的数据传输。mixerNode是负责混音的节点，recordPlayNode即负责播放也负责录音(remoteIO的audioUnit固定两个element,一个录音一个播放)，它的element0负责播放，所以最后一个参数传了0。而对于kAudioUnitSubType_MultiChannelMixer类型混音节点，输入可能有多个，但输出是一个，即element0。

所以上面这段代码的实际作用是：把混音结束后的音频流输出给播放组件。

设置音频格式

AUGraphConnect可以建立连接后让系统处理，但对于更复杂的需求，还需要自己来手动处理音频数据。

在这之前要先设定音频格式，为了简便，固定3个输入源：索引0是第一个音频文件，1是录音数据，2是第二个音频文件。

for (int i = 0; i<MixerInputSourceCount; i++) {
        if ([[self.audioChannelTypes objectForKey:@(i)] integerValue] == AUGraphMixerChannelTypeStereo) {
            sourceStreamFmts[i] = *([[AVAudioFormat alloc] initWithCommonFormat:AVAudioPCMFormatFloat32
                                                                         sampleRate:44100
                                                                           channels:2
                                                                        interleaved:NO].streamDescription);
        }else{
            sourceStreamFmts[i] = *([[AVAudioFormat alloc] initWithCommonFormat:AVAudioPCMFormatFloat32
                                                                         sampleRate:44100
                                                                           channels:1
                                                                        interleaved:YES].streamDescription);
        }
    }

MixerInputSourceCount是输入源数量，根据设置的声道类型，来确定音频格式。两种格式的区别只是声道和interleaved这个属性。

在双声道时设为2，左边或右边单声道设为1。interleaved这个单词是"交错，交叉存取"的意思，这个在设为NO的时候，AudioBufferList包含两个AudioBuffer,每个负责一个声道的数据，而设为YES时，是一个AudioBuffer，两个声道的数据混在一起的。跟视频数据如YUV里面的plane的概念类似。

左右声道分开的好处是，可以单独的填充左边或右边的声音，比如把音频文件1的数据都只填充到第一个AudioBuffer里，那只有左边有声音。

mixer设置多个输入源
    UInt32 inputCount = MixerInputSourceCount;
    status = AudioUnitSetProperty(mixerUnit, kAudioUnitProperty_ElementCount, kAudioUnitScope_Input, 0, &inputCount, sizeof(inputCount));

然后给每个输入源设置回调和输入格式：

for (int i = 0; i<inputCount; ++i) {
        AURenderCallbackStruct mixerInputCallback;
        mixerInputCallback.inputProc = &mixerDataInput;
        mixerInputCallback.inputProcRefCon = (__bridge void*)self;
        
        status = AUGraphSetNodeInputCallback(processingGraph, mixerNode, i, &mixerInputCallback);
        
        status = AudioUnitSetProperty(mixerUnit, kAudioUnitProperty_StreamFormat, kAudioUnitScope_Input, i, &mixStreamFmt, sizeof(AudioStreamBasicDescription));
    }

这里变量i代表着输入源的索引，也是element的索引。在文档里,element和bus是同一个东西，都是指一个完整的数据流处理环境(context)，和输入输出流是对应的。

构建音频读取器

自己写的TFAudioFileReader类，内部使用ExtAudioFile来读取，因为这个系统组件自带转码，而且还可以转采样率，非常好用。

开启关闭

status = AUGraphInitialize(processingGraph);

在open之后，初始化。

然后就可以使用AUGraphStart(processingGraph);和AUGraphStop(processingGraph);控制开启关闭。

输入回调

开启了AUGraph之后，mixer节点会不断的从它的输入源输入数据，方式就是AUGraphSetNodeInputCallback设置的回调函数。

而mixer输出部分不需要我们操心了，连接建立后，播放系统会处理。

static OSStatus mixerDataInput(void *inRefCon, AudioUnitRenderActionFlags *ioActionFlags, const AudioTimeStamp *inTimeStamp, UInt32 inBusNumber, UInt32 inNumberFrames, AudioBufferList *ioData){
    
    AUGraphMixer *mixer = (__bridge AUGraphMixer *)(inRefCon);
    
    //inBusNumber为输入源的索引，根据这个值来从不用源获取音频数据
    if (inBusNumber == FirstAudioFileIndex) {
        
        [mixer readAudioFile:0 numberFrames:inNumberFrames toBuffer:ioData];
        
    }else if (inBusNumber == RecordUnitSourceIndex){
        
        [mixer readRecordedAudio:ioActionFlags timeStamp:inTimeStamp numberFrames:inNumberFrames toBuffer:ioData];
    }else if (inBusNumber == SecondAudioFileIndex){
        [mixer readAudioFile:1 numberFrames:inNumberFrames toBuffer:ioData];
    }
    
    return 0;
}

inBusNumber这里用了bus这个名词，其实还是指element,或说输入输出流。使用这个索引确定是哪个输入流，从不同的源获取数据。

实现输入源独立的声道控制

回调函数里的参数ioData是分配了内存的，只要把需要的数据填充进去就好了。

interleaved影响的就是这里的这个ioData的格式。

双声道时，直接调用AudioUnitRender，把ioData穿进去赋值。

跟我设想稍微不同的是，这样读取出来的ioData只有第一个AudioBuffer有数据，即ioData->mBuffers[1].mData打印出来都是0，虽然录音的audioUnit也是设置了双声道的，效果就是录音只有左边有声音。简便起见，直接把第一个的数据赋值到第二个。

但声道的时候，就只填充一个AudioBuffer，比如只想在左边，就只填充ioData->mBuffers[0]。然后把另一个AudioBuffer的数据全部抹掉。

        if (channelType == AUGraphMixerChannelTypeLeft) {
            bufList.mBuffers[0] = ioData->mBuffers[leftChannelIndex]; //只填充左声道数据
            memset(ioData->mBuffers[rightChannelIndex].mData, 0, ioData->mBuffers[rightChannelIndex].mDataByteSize);
        }
        ...
调整音量
AudioUnitSetParameter(mixerUnit, kMultiChannelMixerParam_Volume, kAudioUnitScope_Input, (UInt32)index, volume, 0);

index是输入源的索引，kAudioUnitScope_Input表示调节的是输入声音。

可继续

上一篇下一篇

猜你喜欢

热点阅读