直播原理
通过计算机上的音视频输入设备或者手机端摄像头和麦克风实时录制的音视频流，编好码后通过直播协议将数据包实时发送给服务器端，服务器端通过流媒体协议把实时流分发出去，其他终端通过直播协议实时请求数据包，并进行解码解放。
直播架构.png
直播过程主要设计采集数据、渲染处理、编码数据、推流、CDN分发、拉流、播放流数据等。
渲染处理
这里所说的渲染处理，主要是对从相机中采集来的数据进行二次处理，如果自己做美颜封装，可用的开源库主要是GPUImage.
GPU工作原理：GPU 指图像运算工作的微处理器，GPU只要利用显卡对图像的顶点左边，通过图元组配，进行光栅化，顶点着色等一系列管线操作。
GPUImage:基于OpenGL图像和视频处理的跨平台框架。提供了各种各样的滤镜。
滤镜处理的原理：把静态图像或者视频的每一帧进行图片转换后展示出来。它的本质是像素点坐标的坐标和颜色变化。
GPUImage处理画面的原理：GPU采用链条式方式处理画面，通过addTarget函数为链条添加每个环节的对象，处理完一个target，就回把上一个环节处理好的图像数据传递给下一个target区域处理，这被称为GPUImage处理链。
编码数据
视频编码指的是通过特定的压缩技术，将某个视频格式文件转换成另一种视频格式文件的方式。
压缩原理
巨大的原始视频压缩成小的视频核心的思想就是去除冗余信息。
1.空间冗余。在很多图像数据中，像素间在行、列方向上都有很大的相关性，相邻像素的值比较接近或者完全相同，这种数据冗余叫做空间冗余。
2.时间冗余。在视频图像序列中，相邻两帧图像数据有许多共通的地方，这种共通性叫做时间冗余，可采用运动补偿算法来去除冗余信息。
3.视觉冗余。视觉冗余是相对人眼的视觉特性而言的，人类视觉系统对图像的敏感性是非均匀和非线形的，即人眼观察不到图像中的所有变化。
常用的压缩编码方法
常用编码方法.png
推流
推流过程就是把编码后的数据打包并通过直播协议发送给流媒体服务器的过程。
常用的推流协议
1.RTMP
RTMP是基于TCP，是一种被设计用来实行数据通信的网络协议，主要用在Flash平台和支持RTMP协议的流媒体/交互服务器之间进行音视频和数据通信。
RTMP是主流的流媒体传输协议，广泛用于直播领域，可以说市面上绝大多数直播都采用了这个协议。
优点：
1.对CDN友好，主流的CDN厂商都支持该协议
2.协议简单，在各个平台实现容易
缺点：
1.基于TCP，传输成本高，在弱网环境丢包率高的情况下问题明显。
2.不支持浏览器推送
3.Adobe私有协议，Adobe已经不再更新该协议。
2.WebRTC
3.基于UDP的私有协议
有些直播应用会通过UDP作为底层协议开发自己的私有协议。由于UDP在弱网环境下的优势，因此通过一些定制化的调优可以达到比较好的弱网优化效果。
优点：
有更多的空间进行定制化优化
缺点：
- 开发成本高
- 对CDN不友好，需要自建CDN或者和CDN达成协议
CDN分发
CDN即内容分发网络，是一个策略型部署的整理系统，主要用来解决由于网络带宽小、用户访问量大、网点分布不均匀等造成的用户访问网络速度慢的问题。简单理解就是相当于让计算机选择最优网络。具体实现是通过在现有的网络中增加一层新的网络架构，将网站内容发布到离用户最近的网络节点上。这样用户可以就近获取所需内容，解决之前的网络拥塞。访问延时高的问题，提高用户体验。
CDN主要包含源站、缓存服务器、智能DNS、客户端等几个主要组成部分。
整个流程如下
主播进行直播，向智能DNS发送解析请求；智能DNS返回最优的CDN节点的IP地址；主播端采用音视频数据，发送CDN节点，CDN节点进行缓存处理；观众要观看这个主播的视频，向智能DNS发送解析请求，智能DNS返回最优CDN节点的IP地址；观众向CDN节点请求音视频数据；CDN节点同步其他节点的音视频数据；CDN节点将音视频发给观众。
CDN缺点
播放延时：从主播端采集到观众播放之间的时间差。
网络抖动：数据包的到达顺序，间隔等与发出时不一致。
网络丢包：当网络中丢包率开始升高时，重传会导致延时不断增大，甚至导致不断尝试重连等情况，这样不能有效缓存，在严重情况下会导致用户端无法观看视频。
拉流
根据协议类型（如RTMP，RTP，HTTP等）与服务器建立连接并接受数据。
播放流数据
播放流数据，一般涉及几个过程。首先进行access操作，也就是获取数据流；然后进行demux操作，也就是解复用，将数据流分离成音频流和视频流；接着将音频流送入音频解码器，将视频流送入视频解码器；最后进行音视频同步输出。通常使用第三方播放器。
end
文字来源《 Android 音视频开发》-何俊林 著
