音视频入门-音频基础(一)
2022-02-24 本文已影响0人
程序猿峰岑
音频处理流程
直播客户端的处理流程
image.png
音频数据的流转
PCM:采集数据的格式就是PCM数据(模拟信号转换成数字信号)
WAV:既可以存储原始数据也可以存储压缩数据,但大部分WAV存储的是原始的数据,WAV其实上是在PCM的头上套了一个头,而这个头包含了基本的原始数据信息
量化的基本概念
采样大小:一个采样用多少bit存放,一般是16bit
采样率:采样频率8K、16K、32K、44.1K、48K
声道数:单声道、双声道、多声道
码率计算
image.pngWAV Header
image.pngWAV的例子
image.pngAndroid音频采集
Android音视频采集分为两层API,底层的使用的是AudioRecoder,应用层使用MediaRecoder的API,直接采集的数据保存为音视频文件
FFmpeg采集音频
使用ffmpeg采集音频:ffmpeg -f avfoundation -i :0 out.wav
ffplay out.wav
FFmpeg采集音频的流程
FFmpeg采集音频分三步: 打开音频设备、采集音频数据包 、输出文件
打开音频设备:注册设备 ----> 设置采集方式:avfoundation/dshow/alsa. --->打开音频设备
AVFormatContext *fmt_ctx;
char *devicename =":0";
int ret = 0;
char errors[1024];
AVDictionary *options = NULL;
//注册设备 register audio device
avdevice_register_all();
//获取格式 get format
AVInputFormat *iformat = av_find_input_format("avfoundation");
if((ret = avformat_open_input(&fmt_ctx, devicename, iformat,&options)) < 0){
av_strerror(ret,errors, 1024);
printf(stderr,"failed open audio device,[%d]%s\n",ret,errors);
}
av_read_frame
AVFormatContext:上下文,表示读取的数据是从哪里获取的,是从设备还是多媒体
AVPackage:音视频包
data:音视频数据
size:音视频数据的地址也就是数据缓冲区的大小
与AVpackage相关的API 头文件是在:libavcodec/avcodec.h
av_init_packet 初始化
av_packet_unref 释放资源
av_packet_alloc 1、分配avPacket空间 2、alloc进行初始化
av_packet_free 先对avPacket空间进行释放,然后对unref进行解引用
返回值为0表示读取成功
AVPacket pkt;
av_init_packet(&pkt);
while ((ret = av_read_frame(fmt_ctx,&pkt )) == 0) {
printf("pkt size is %d \n",pkt.size);
}
av_packet_unref(&pkt);