音频处理(AudioUnit)

AudioUnit

2019-08-12  本文已影响0人  阿凡提说AI

在iOS平台上，所有的音频框架底层都是基于AudioUnit实现的。较高层次的音频框架包括：MediaPlayer、AVFoundation、OpenAL和AudioToolBox,这些框架都封装了AudioUnit,然后提供了更高层次的API(功能更少，职责更单一的接口)。


16a8dc6da3e49765.png

当开发者在开发音频相关产品的时候，如果对音频需要更高程度的控制、性能以及灵活性，或者使用一些特殊功能（回声消除）的时候，可以直接使用AudioUnit API。苹果官方文档中描述，AudioUnit提供了音频快速的模块化处理，如果在一下场景下，更适合使用AudioUnit而不是使用更高层次的音频框架。

1.认识AudioSession

在iOS的音视频开发中，使用具体API之前都会先创建一个会话，这里也不意外，但在这之前，先来认识一下音频会话（AudioSession）,其用于管理与获取iOS设备音频的硬件信息，并且是以单例的形式存在。可以使用如下代码来获取AudioSession的实例：

AVAudioSession *audioSession = [AVAudioSession sharedInstance];

获得AudioSession的实例之后，就可以设置以何种方式使用音频硬件做哪些处理了，基本的设置具体如下所示。
1）根据我们需要硬件设备提供的能力来设置类别：

[audioSession setCategory:AVAudioSessionCategoryPlayAndRecord error:&error];

2)设置I/O的Buffer,Buffer越小则说明延迟越低：

NSTimeInterval bufferDuration = 0.002;
[audioSession serPreferredIOBufferDuration:bufferDuration error:&error];

3)设置采样频率，让硬件设备按照设置的采样频率来采集或者播放音频：

double hwSampleRate = 44100.0;
[audioSession setPreferredSampleRate:hwSampleRate error:&error];

4)当设置完毕所有的参数之后就可以激活AudioSession了，代码如下：

[audioSession setActive:YES error:&error];

2.构建AudioUnit

在创建并启用音频会话之后，就可以构建AudioUnit了。构建AudioUnit的时候需要制定类型（Type）、子类型（subtype）以及厂商（Manufacture）.类型（Type）就是四大类型的AudioUnit的Type;而子类型（subtype）就是该大类型下面的子类型（比如Effect该大类型下面有EQ、Compressor、limiter等子类型）；厂商（Manufacture）一般情况下比较固定，直接写成kAudioUnitManufacturer_Apple就可以了。利用以上这三个变量开发者可以完整描述出一个AudioUnit了，比如使用下面的代码创建一个RemoteIO类型的AudioUnit:

AudioComponentDescription ioUnitDescription;
ioUnitDescription.conponentType = kAudioUnitType_Output;
ioUnitDescription.componentSubType = kAudioUnitSubType_RemoteIO;
ioUnitDescription.componentManufactureer = kAudioUnitManufacturer_Apple;
ioUnitDescription.conponentFlags = 0;
ioUnitDescription.conponentFlagsMask = 0;

上诉代码构造了RemoteIO类型的AudioUnit描述的结构体，那么如何使用这个描述来构造真正的AudioUnit呢？有两种方式：第一种方式是直接使用AudioUnit裸的创建方式；第二种方式是使用AUGraph和AUNode(其实一个AUNode就是对AudioUnit的封装)来构建。下面就来分别介绍这两种方式。
（1）裸创建方式
首先根据AudioUnit的描述，找出实际的AudioUnit类型：

AudioComponent ioUnitRef = AudioComponentFindNext(NULL,&ioUnitDescription);

然后声明一个AudioUnit引用：

AudioUnit ioUnitInstance;

最后根据类型创建这个AudioUnit实例：

AudioConponentInstanceNew(isUnitRef,&ioUnitInstance);

(2)AUGraph创建方法
首先声明并且实例化一个AUGraph:

AUGraph processingGraph;
NewAUGraph(&processingGraph);

然后按照AudioUnit的描述在AUGraph中添加了一个AUNode:

AUNode ioNode;
AUGraphAddNode(processingGraph,&ioUnitDescription,&isNode);

接下来打开AUGraph,其实打开AUGraph的过程也是间接实例化AUGraph中所有的AUNode。注意，必须在获取AudioUnit之前打开整个AUGraph,否则，我们将不能从对应的AUNode中获取正确的AudioUnit:

AUGraphOpen(processingGraph);

最后在AUGraph中的某个Node里获得AudioUnit的应用：

AudioUnit ioUnit;
AUGraphNodeInfo(processingGraph,ioNode,NULL,&ioUnit);

3.AudioUnit的通用参数设置

本节将以RemoteIO这个AudioUnit为例来讲解AudioUnit的参数设置，RemoteIO这个AudioUnit是与硬件IO相关的一个Unit,它分为输入端和输出端（I代表Input,O代表Output）。输入端一般是指麦克风，输出端一般是指扬声器（Speaker）或者耳机。如果需要同时使用输入输出，即K歌应用中的耳返功能（用户在唱歌或者说话的同时，耳机会将麦克风收录的声音播放出来，让用户能够听到自己的声音），则需要开发者做一些设置将它们连起来。


11386185-b205827ce3a7309a.png

上图中的RemoteIO Unit分为Element0和Element1,其中Element0控制输出端，Element1控制输入端，同时每个Element又分为Input Scope和Output Scope。如果开发者想要使用扬声器的声音播放功能，那么必须将这个Unit的Element0的OutputScope和Speaker进行连接。而开发者想要使用麦克风的录音功能，那么必须将这个Unit的Element1的InputScope和麦克风进行连接。使用扬声器的代码如下：

OSStatus status = noErr;
UInt32 oneFlag = 1;
UInt32 busZero = 0;// Element 0
status = AudioUnitSetProperty(remoteIOUnit,kAudioOutputUnitProperty_EnableIO,kAudioUnitScope_output,busZero,&oneFlag,sizeof(oneFlag));
CheckStatus(status,@"Could not Connect To Speaker",YES);

上面这段代码就是把RemoteIOUnit的Element0的OutputScope连接到Speaker上，连接过程会返回一个OSStatus类型的值，可以使用自定义的CheckStatus函数来判断错误并且输出Could not Connect To Speaker的提示。具体的CheakStatus函数如下：

static void CheckStatus(OSStatus status,NSString *message,BOOL fatal)
{
      if(status != noErr)
      {
              char fourCC[16];
              *(UInt32 *)fourCC = CFSwapInt32HostToBig(status);
              fourCC[4] = '\0';
              if(isprint(fourCC[0]) && isprint(fourCC[1]) && isprint(fourCC[2]) && isprint(fourCC[3]))
                    NSLog(@"%@:%s",message,fourCC);
              else
                    NSLog(@"%@:%d",message,(int)status);
              if(fatal)
                    exit(-1);
      }
}

接下来再来看一下如何启动麦克风的代码：

UInt32 busOne = 1; // Element 1
AudioUnitSetProperty(remoteIOUnit,kAudioOutputUnitProperty_EnableIO,kAudioUnitScope_input,busOne,&oneFlag,sizeof(oneFlag));

上面这段代码就是把RemoteIOUnit的Element1的InputScope连接上麦克风。连接成功之后，就应该给AudioUnit设置数据格式了，AudioUnit的数据格式分为输入和输出两个部分，下面先来看一下Audio Stream Format的描述：

UInt32 bytesPerSample = sizeof(Float32);
AudioStreamBasicDescription asbd;
bzero(&asbd,sizeof(asbd));
asbd.mFormatID = kAudioFormatLinearPCM;
asbd.mSampleRate = _sampleRate;
asbd.mChannelsPerFrame = channels;
asbd.mFramesPerPacket = 1;
asbd.mFormatFlags = kAudioFormatFlagsNativeFloatPacked | kAudioFormatFlagIsNonInterleaved;
asbd.mBitsPerChannel = 8*bytesPerSample;
asbd.mBytesPerFrame = bytePerSample;
asbd.mBytesPerPacket = bytesPerSamele;

上面这段代码展示了如何填充AudioStreamBasicDescription结构体，其实在iOS平台做音视频开发久了就会知道：不论音频还是视频的API都会接触到很多StreamBasicDescription，该Description是描述音视频具体格式的。下面就来具体分析一下上述代码是如何制定格式的。

至此，我们就完全构造好了这个BasicDescription结构体，下面将这个结构体设置给对应的AudioUnit,代码如下：

AudioUnitSetProperty(remoteIOUnit,kAudioOutputUnitProperty_StreamFormat,kAudioUnitScope_output,1,&asbd,sizeof(asbd));

4.AudioUnit的分类

介绍完了AudioUnit的通用设置之后，本节就来介绍一下AudioUnit的分类。iOS按照AudioUnit的用途将AudioUnit分为五大类型，本节将从全局的角度出发来认识各大类型以及其下的子类型，并且还会介绍他们的用途，以及对应参数的意义。

（1）Effect Unit

类型是kAudioUnitType_Effect,主要提供声音特效处理的功能。其子类型及用途说明如下。

(2)Mixer Units

类型是kAudioUnitType_Mixer,主要提供Mix多路声音的功能。其子类型及用途如下。

（3）I/O Units

类型是kAudioUnitType_Output,它的用途就像分类的名字一样，主要提供的就是I/O的功能。其子类型及用途说明如下。

（4）Format Converter Units

类型是kAudioUnitType_FormatConverter,主要用于提供格式转换的功能，比如：采样格式由Float到SInt16的转换、交错和平铺的格式转换、单双声道的转换等，其子类型及用途说明如下。

（5）Generator Units

类型是kAudioUnitType_Generator,在开发中我们经常使用它来提供播放器的功能，其子类型及用途说明如下。

5.构造一个AUGraph

实际的K歌应用中，会对用户发出的声音进行处理，并且立即给用户一个耳返（在50ms之内将声音输出到二级中，让用户可以听到）。那么如何让RemoteIOUnit利用麦克风采集出来的声音，经过中间效果器的处理，最终输出到Speaker中播放给用户呢？下面就来介绍一下如何以AUGraph的方式将声音采集、声音处理以及声音输出的整个过程管理起来。


16a8dc6ddfa36bc8.png

首先要知道数据可以在通道中传递是由最右端Speak(RemoteIO Unit)来驱动的，它会向其上一级——AUNode要数据，然后它的前一级继续向前一级要数据，并最终从RemoteIOUnit的Element1(即麦克风)中要数据，这样就可以将数据按相反的方向一级一级地传递下去，最终传递到RemoteIOUnit的Element0(即Speaker)并播放给用户听到。当然你想离线处理的时候应该由谁来进行驱动呢？其实在进行离线处理的时候应该使用Mixer Unit大类型下面子类型为Generic Output的AudioUnit来做驱动端。那么这些AudioUnit或者说AUNode是如何进行连接的呢？有两种方式，第一种方式是直接将AUNode连接起来；第二种方式是通过回调的方式将AUNode连接起来。
（1）直接连接的方式

AUGraphConnectNodeInput(mPlayerGraph,mPlayerNode,0,mPlayerIONode,0);

将Audio File Player Unit和RemotelIO Unit直接连接起来，当Remote Unit需要播放数据的时候，就会调用AudioFilePlay Unit来获取数据，这样就把这两个AudioUnit连接起来了。
（2）回调的方式

AURenderCallbackStruct renderProc;
renderProc.inputProc = &inputAvailableCallback;
renderProc.inputProcRefCon = (__bridge void *)self;
AUGraphSetNodeInputCallback(mGraph,ioNode,0,&finalRenderProc);

这段代码首先是构造一个AURenderCallBack的结构体，并制定一个回调函数，然后设置给RemoteIO Unit的输入端，当RemoteIO Unit需要数据输入的时候就会回调该回调函数，回调函数代码如下：

static OSStatus renderCallback(void *inRefCon,AudioUnitRenderActionFlags *ioActionFlags,const AudioTimeStamp *inTimeStamp,UInt32 inBusNumber,UInt32 inNumberFrames,AudioBufferList *ioData)
{
      OSStatus result = noErr;
      _unsafe_unretained AUGraphRecoder *THIS = (__bridge AUGraphRecorder *)inRefCon;
      AudioUnitRender(THIS->mixerUnit,ioActionFlags,inTimeStamp,0,isNumberFrames,ioData);
      result = ExtAudioFileWriteAsync(THIS->finalAudiofile,inNumberFrames,ioData);
      return result;
}

该回调函数主要完成两件事情：第一件事情是去Mixer Unit里面要数据，通过调用AudioUnitRender的方式来驱动Mixer Unit获取数据，得到数据之后放入ioData中，从而填充回到方法中的参数，将Mixer Unit与RemoteIO unit连接了起来；第二件事情则是利用ExtAudioFile将这段声音编码并写入本地磁盘的一个文件中。

上一篇下一篇

猜你喜欢

热点阅读