图形编程接口OpenGL/OpenGL ES/Meta有什么用？

2020-10-21 本文已影响0人 JimmyCJJ

图形API可以解决什么问题?

简单来说就是实现图形的底层渲染

比如在游戏开发中，对于游戏场景/游戏人物的渲染
比如在音视频开发中，对于视频解码后的数据渲染
比如在地图引擎，对于地图上的数据渲染
比如在动画中，实现动画的绘制
比如在视频处理中，对于视频加上滤镜效果

在iOS开发中，可以使用哪些技术来进行图形编程？

OpenGL/OpenGLES/Meta

如何学习？

我们首先需要理解图形编程中的各种专业名词的定义才能更好地学习图形编程，这一部分比较枯燥，但是啃下来之后必定有所收获

推荐几本书籍：

OpenGL编程指南（红宝书）
OpenGL超级宝典（蓝宝书）
OpenGL ES应用开发实践指南 iOS卷

简介

OpenGL (跨平台)

OpenGL（Open Graphics Library）是一个跨编程语言、跨平台的编程图形程序接口
它将计算机的资源抽象成为一个个OpenGL的对象，对这些资源的操作抽象为一个个的OpenGL指令

OpenGL ES （跨平台，针对移动端）

OpenGL ES（OpenGL for Embedded Systems）是OpenGL三维图形API的子集，它们的关系是OpenGL包含OpenGL ES。
针对手机、PDA和游戏主机等嵌入式设备而设计
去除了许多不必要和性能较低的API接口。

Direct （仅Window）

DirectX是由很多API组成的
DirectX并不是一个单纯的图形API。
DirectX是属于Windows上一个多媒体处理框架，并不支持Windows以外的平台，所以不是跨平台框架。
按照性质分类，可以分为四大部分，显示部分、声音部分、输入部分和网络部分。

Metal （仅Apple）

Metal是Apple为游戏开发者推出的新的平台技术（2014 WWDC推出），同时于2018 WWDC宣布弃用OpenGL/OpenGL ES/OpenCV，但仍可使用
Metal能够为3D图像提高10倍的渲染性能。
Metal是Apple为了解决3D渲染而推出的框架
目前苹果底层渲染是由Metal实现的
在目前的Apple平台上，Metal能够替代OpenGL ES

iOS中的图层框架结构

从绘制到展示的流程图
如上图所示，我们平时使用的CoreGraphics、CoreAnimation、CoreImage框架其底层本质还是调用OpenGL ES/Metal去驱动GPU作渲染操作，然后显示在屏幕上。

总结

OpenGL/OpenGL ES/Metal在任何项目中解决问题的本质就是利用GPU芯片来高效渲染图形图像
图形API是iOS开发者唯一接近GPU的方式

OpenGL专业名词解析

OpenGL上下文 （context）

在应用程序调用任何OpenGL的指令之前，需要安排首先创建一个OpenGL的上下文。这个上下文是一个非常庞大的状态机，保存了OpenGL中的各种状态，这也是OpenGL指令执行的基础
OpenGL的函数不管在哪个语言中，都是类似C语言一样的面向过程的函数，本质上都是对OpenGL上下文这个庞大的状态机中的某个状态或者对象进行操作，当然你得首先把这个对象设置为当前对象。因此，通过对OpenGL指令的封装，是可以将OpenGL的相关调用封装成一个面向对象的图形API 的
由于OpenGL上下文是一个巨大的状态机，切换上下文往往会产生较大的开销，上下文之间共享纹理、缓冲区等资源。这样的方案，会比反复切换上下文，或者大量修改渲染状态，更加合理高效的

OpenGL状态机
状态机是理论上的一种机器，我们可以这么理解它：
状态机描述了一个对象在其生命周期内所经历的各种状态，状态间的转变，发生转变的动因，条件及转变中所执行的活动。
或者说，状态机是一种行为，说明对象在其生命周期中响应事件所经历的状态序列以及对那些状态事件的响应。
它具有以下特点

有记忆功能，能记住其当前的状态
可以接收输入，根据输入的内容和自己原先状态，修改自己当前状态，并且可以有对应输出
当进入特殊状态（停机状态）的时候，便不再接收输入，停止工作

类推到OpenGL中来，可以这么理解

OpenGL可以记录自己的状态（如当前所使用的颜色、是否开启了混合功能等）
OpenGL可以接收输入（当调用OpenGL函数的时候，实际上可以看成OpenGL在接收我们的输入），如我们调用glColor3f，则OpenGL接收到这个输入后会修改自己的“当前颜色”这个状态
OpenGL可以进入停止状态，不再接收输入。在程序推出前，OpenGL总会先停止工作的

3D渲染

用3D数据生成一个2D图像的过程就叫渲染。
图片是由矩形的颜色点组成的。
这些矩形的颜色点叫像素。
像素是由3个颜色元素（RGB:red green blue）组成的。
图像是以每个像素至少包含3个值的一个数组存储在电脑的存储器中的，也就是RGB。

为图形处理器提供数据

程序会保存3D场景数据到硬件随机存取存储器（RAM运行内存）中。
GPU也有专门为图形处理分配的RAM。
使用现代硬件渲染3D图形的速度几乎完全取决于不同的内存区域被访问的方式。
OpenGL ES是一种软件技术。OpenGL ES部分运行在CPU上，部分运行在GPU上。OpenGL ES横跨在两个处理器之间，协调两个内存区域之间的数据交换。

上图的箭头代表了与3D渲染相关的硬件组件之间的数据交换。每个箭头也代表着一个渲染性能的瓶颈。

OpenGL ES通常会高效地协调数据交换，但是程序与OpenGL ES的交互方式会明显地增加或减少所需的数据交换的数量和类型。
对于渲染速度，最快的数据交换方式是没有数据交换
从一个内存区域复制数据到另一个内存区域是很相对较慢的；而且在复制的过程中，CPU和GPU都不能把这块正在被复制的内存另作他用。
所有的内存访问都是相对较慢的。
CPU 和 GPU都能美妙处理上亿次运算，但在访问内存的速度上却远远不及运算速度，造成“数据饥饿”现象，浪费了运算的性能，使得它们受限于访问内存的性能。

顶点数组（VertexArray）
和顶点缓冲区（VertexBuffer）

画图⼀般是先画好图像的⻣架，然后再往⻣架⾥⾯填充颜⾊，这对于OpenGL也是⼀样的。
顶点数据就是要画的图像的⻣架，和现实中不同的是，OpenGL中的图像都是由图元组成。
在OpenGL ES中，有3种类型的图元：点、线、三⻆形。
那这些顶点数据最终是存储在哪⾥的呢？开发者可以选择设定函数指针，在调⽤绘制⽅法的时候，直接由内存传⼊顶点数据，也就是说这部分数据之前是存储在内存当中的，被称为顶点数组。
⽽性能更⾼的做法是，提前分配⼀块显存，将顶点数据预先传⼊到显存当中。这部分的显存，就被称为顶点缓冲区
顶点指的是我们在绘制⼀个图形时,它的顶点位置数据.⽽这个数据可以直接存储在数组中或者将其缓存到GPU内存中

着⾊器程序Shader

就全⾯的将固定渲染管线架构变为了可编程渲染管线。
因此，OpenGL在实际调⽤绘制函数之前，还需要指定⼀个由shader编译成的着⾊器程序。
常⻅的着⾊器主要有顶点着⾊器（VertexShader），⽚段着⾊器（FragmentShader）/像素着⾊器（PixelShader），⼏何着⾊器（GeometryShader），曲⾯细分着⾊器（TessellationShader）。⽚段着⾊器和像素着⾊器只是在OpenGL和DX中的不同叫法⽽已。可惜的是，直到OpenGLES 3.0，依然只⽀持了顶点着⾊器和⽚段着⾊器这两个最基础的着⾊器。
OpenGL在处理shader时，和其他编译器⼀样。通过编译、链接等步骤，⽣成了着⾊器程序（glProgram），着⾊器程序同时包含了顶点着⾊器和⽚段着⾊器的运算逻辑。在OpenGL进⾏绘制的时候，⾸先由顶点着⾊器对传⼊的顶点数据进⾏运算。再通过图元装配，将顶点转换为图元。然后进⾏光栅化，将图元这种⽮量图形，转换为栅格化数据。最后，将栅格化数据传⼊⽚段着⾊器中进⾏运算。⽚段着⾊器会对栅格化数据中的每⼀个像素进⾏运算，并决定像素的颜⾊

管线

在OpenGL 下渲染图形,就会有经历⼀个⼀个节点,⽽这样的操作可以理解管线
⼤家可以想象成流⽔线.每个任务类似流⽔线般执⾏.任务之间有先后顺序
管线是⼀个抽象的概念，之所以称之为管线是因为显卡在处理数据的时候是按照⼀个固定的顺序来的，⽽且严格按照这个顺序。就像⽔从⼀根管⼦的⼀端流到另⼀端，这个顺序是不能打破的

固定管线/存储着⾊器

在早期的OpenGL 版本,它封装了很多种着⾊器程序块内置的⼀段包含了光
照、坐标变换、裁剪等等诸多功能的固定shader程序来完成,来帮助开发者
来完成图形的渲染
⽽开发者只需要传⼊相应的参数,就能快速完成图形的渲染
类似于iOS开发会封装很多API,⽽我们只需要调⽤,就可以实现功能，不
需要关注底层实现原理
但是由于OpenGL 的使⽤场景⾮常丰富,固定管线或存储着⾊器⽆法完成每⼀个业务.这时将相关部分开放成可编程

顶点着⾊器 VertexShader

⼀般⽤来处理图形每个顶点变换(旋转/平移/投影等)
顶点着⾊器是OpenGL中⽤于计算顶点属性的程序。
顶点着⾊器是逐顶点运算的程序，也就是说每个顶点数据都会执⾏⼀次顶点着⾊器，当然这是并⾏的，并且顶点着⾊器运算过程中⽆法访问其他顶点的数据
⼀般来说典型的需要计算的顶点属性主要包括顶点坐标变换、逐顶点光照运算等等。
顶点坐标由⾃身坐标系转换到归⼀化坐标系的运算，就是在这⾥发⽣的。

⽚元着⾊器程序 FragmentShader

⼀般⽤来处理图形中每个像素点颜⾊计算和填充
⽚段着⾊器是OpenGL中⽤于计算⽚段（像素）颜⾊的程序
⽚段着⾊器是逐像素运算的程序，也就是说每个像素都会执⾏⼀次⽚段着⾊器，当然也是并⾏的

GLSL (OpenGL Shading Language)

OpenGL着⾊语⾔（OpenGL Shading Language）是⽤来在OpenGL中着⾊编程
的语⾔，也即开发⼈员写的短⼩的⾃定义程序
他们是在图形卡的GPU （Graphic Processor Unit图形处理单元）上执⾏的，代替了固定的渲染管线的⼀部分，使渲染管线中不同层次具有可编程性
⽐如：视图转换、投影转换等。GLSL（GL Shading Language）的着⾊器代码分成2个部分：Vertex Shader（顶点着⾊器）和Fragment（⽚元着⾊器）

光栅化Rasterization

是把顶点数据转换为⽚元的过程，具有将图转化为⼀个个栅格组成的图象的作⽤
特点是每个元素对应帧缓冲区中的⼀像素
光栅化就是把顶点数据转换为⽚元的过程。
⽚元中的每⼀个元素对应于帧缓冲区中的⼀个像素
光栅化其实是⼀种将⼏何图元变为⼆维图像的过程
该过程包含了两部分的⼯作。第⼀部分⼯作：决定窗⼝坐标中的哪些整型栅格区域被基本图元占⽤；第⼆部分⼯作：分配⼀个颜⾊值和⼀个深度值到各个区域
光栅化过程产⽣的是⽚元
把物体的数学描述以及与物体相关的颜⾊信息转换为屏幕上⽤于对应位置的像素及⽤于填充像素的颜⾊，这个过程称为光栅化，这是⼀个将模拟信号转化为离散信号的过程

纹理

纹理可以理解为图⽚.
在渲染图形时需要在其编码填充图⽚,为了使得场景更加逼真.⽽这⾥使⽤的图⽚,就是常说的纹理，但是在OpenGL,我们更加习惯叫纹理,⽽不是图⽚

混合（Blending)

在测试阶段之后，如果像素依然没有被剔除，那么像素的颜⾊将会和帧缓冲区中颜⾊附着上的颜⾊进⾏混合，混合的算法可以通过OpenGL的函数进⾏指定。
但是OpenGL提供的混合算法是有限的，如果需要更加复杂的混合算法，⼀般可以通过像素着⾊器进⾏实现，当然性能会⽐原⽣的混合算法差⼀些

渲染上屏/交换缓冲区(SwapBuffer)

GPU渲染出来的2D图像像素数据（渲染结果）会被缓冲区接收，接收的结果叫做帧缓存（frame buffer）。
渲染缓冲区⼀般映射的是系统的资源⽐如窗⼝。如果将图像直接渲染到窗⼝对应的渲染缓冲区，则可以将图像显示到屏幕上。
可以同时存在很多帧缓存，并且可以通过OpenGL ES让GPU把渲染结果存储到任意数量的帧缓存中。
帧缓存中有两个特别的帧缓存，前帧缓存和后帧缓存，程序和操作系统很少会直接渲染到前帧缓存中，因为那样会让用户直接看到正在渲染中的还没渲染完成的图像。而是把渲染结果保存在一个后帧缓存当中，然后当渲染完成后会进行前帧缓存和后帧缓存的切换，交换过后，前帧缓存变成了渲染好的后帧缓存显示给用户看，后帧缓存变成了旧的前帧缓存重新渲染下一帧图像。
用户所看到的画面，背后就是通过不断的后帧缓存渲染然后切换到前帧缓存显示来实现的。

前帧缓存决定了屏幕上显示的像素颜色，同时会与后帧缓存切换
由于显示器的刷新⼀般是逐⾏进⾏的，因此为了防⽌交换缓冲区的时候屏幕上下区域的图像分属于两个不同的帧，因此交换⼀般会等待显示器刷新完成的信号，在显示器两次刷新的间隔中进⾏交换，这个信号就被称为垂直同步信号，这个技术被称为垂直同步（使得用户感知不到图像撕裂的发生）
使⽤了双缓冲区和垂直同步技术之后，由于总是要等待缓冲区交换之后再进⾏下⼀帧的渲染，使得帧率⽆法完全达到硬件允许的最⾼⽔平。
为了解决这个问题，引⼊了三缓冲区技术，在等待垂直同步时，来回交替渲染两个离屏的缓冲区，⽽垂直同步发⽣时，屏幕缓冲区和最近渲染完成的离屏缓冲区交换，实现充分利⽤硬件性能的⽬的（更好地减少掉帧的发生）
iOS操作系统不会让应用（指开发者）直接向前帧缓存或者后帧缓存绘图，也不会让应用直接控制前帧缓存和后帧缓存之间的切换。操作系统为自己保留了这些操作，以便它可以随时使用Core Animation合成器来控制显示的最终外观。

合并Core Animation层来产生后帧缓存中的颜色数据
Core Animation合成器会联合图像的所有层并在后帧缓存中产生最终的像素颜色，然后切换缓存。
一个应用提供的层与操作系统提供的层混合起来可以产生最终的显示外观。
层会保存所有绘制操作的结果，比如淡入淡出的特殊效果显示图像的层。
层内容可以使用苹果的用于2D的支持富文本的Core Graphics框架来绘制，本例子则使用OpenGL ES来渲染层内容。