从八开始——图形渲染/Metal专题

Metal与图形渲染二:透明图片的渲染

2021-01-08  本文已影响0人  肠粉白粥_Hoben

零. 前言

这是我在Metal系列进行探索的第二篇文章,本章主要会介绍透明通道的素材如何渲染到屏幕上中,在Metal与图形渲染入门篇:绘制图片已经成功渲染出一张图片,现在让我们乘着温热的知识,再进一步,通过提取一张含透明通道的图片的信息,渲染出我们想要的透明图片的效果。什么意思呢?

比如:下面的图片中,左边代表着正常的图片数据,右边代表着该像素对应的透明数据,如果是白色则不透明,黑色则代表透明。美术那边会导出一个正常的视频,再导出一个只含透明度的视频,将两个视频合二为一得到:

我们需要得到以下的效果:

一. 基本思路

对于合二为一的分开图片,你第一感觉肯定是想到:分割处理,没错,这次我们的核心就是需要将同一张图片分开两次采样,合二为一得到一个rgba。

如果你对纹理还有点印象,那么你的想法应该是这样的:我需要取左半边的纹理进行采样,取其rgb值,再对右半边的纹理进行采样,取其r值(注意不是a值,白色的r>0,黑色r=0,因此我们取r值作为输出的alpha通道即可),即可得到(r1,g1,b1,r2)的片段着色器输出了!

二. 修改数据结构

还记得我们第一张渲染图片时用的数据结构吗?是xyzw的顶点坐标和xy的纹理坐标集合。

typedef struct {
    float4 vertexPosition [[ position ]];
    float2 textureCoor;
} RasterizerData;

那么这次我们既然多了一个纹理,则需要修改为如下数据结构:

typedef struct {
    float4 vertexPosition [[ position ]];   // 顶点坐标
    float2 textureCoorRgb;                  // 取RGB值的纹理坐标
    float2 textureCoorAlpha;                // 取Alpha值的纹理坐标
} RasterizerData;

作为顶点着色器的输出和片段着色器的输入,修改了该数据结构,我们就可以针对同一个数据结构的不同纹理进行采样,最后生成一个rgba值了!

二. 修改顶点着色器及输入缓冲值

还记得顶点着色器的缓冲值吗,他的句柄为[[buffer(index)]],index即允许我们输入多个图像信息,所以,我们可以这样来修改顶点着色器:

vertex RasterizerData vertexShader(uint vertexId [[ vertex_id ]],
                                   constant HobenVertex *rgbVertexArray [[ buffer(0) ]],
                                   constant HobenVertex *alphaVertexArray [[ buffer(1) ]]) {
    RasterizerData out;
    out.vertexPosition = rgbVertexArray[vertexId].position;
    out.textureCoorRgb = rgbVertexArray[vertexId].textureCoordinate;
    out.textureCoorAlpha = alphaVertexArray[vertexId].textureCoordinate;
    return out;
}

观察上面的图像,我们可以知道需要“各取一边”以进行采样,即纹理坐标对半分,对应的纹理顶点我们这样来分成两块来处理:

HobenVertex rgbVertices[] = {
    // 顶点坐标 x, y, z, w  --- 纹理坐标 x, y
    { {-widthScaling,  heightScaling, 0.0, 1.0}, {0.0, 0.0} },
    { { widthScaling,  heightScaling, 0.0, 1.0}, {0.5, 0.0} },
    { {-widthScaling, -heightScaling, 0.0, 1.0}, {0.0, 1.0} },
    { { widthScaling, -heightScaling, 0.0, 1.0}, {0.5, 1.0} },
};

self.rgbVertices = [_device newBufferWithBytes:rgbVertices length:sizeof(rgbVertices) options:MTLResourceStorageModeShared];
self.numVertices = sizeof(rgbVertices) / sizeof(HobenVertex);

CGFloat offset = .5f;

HobenVertex alphaVertices[] = {
    // 顶点坐标 x, y, z, w  --- 纹理坐标 x, y
    { {-widthScaling,  heightScaling, 0.0, 1.0}, {0.0 + offset, 0.0} },
    { { widthScaling,  heightScaling, 0.0, 1.0}, {0.5 + offset, 0.0} },
    { {-widthScaling, -heightScaling, 0.0, 1.0}, {0.0 + offset, 1.0} },
    { { widthScaling, -heightScaling, 0.0, 1.0}, {0.5 + offset, 1.0} },
};
self.alphaVertices = [_device newBufferWithBytes:alphaVertices length:sizeof(alphaVertices) options:MTLResourceStorageModeShared];

在输入缓冲的接口改成双输入即可:

// 设置rgb顶点数据
[renderEncoder setVertexBuffer:self.rgbVertices offset:0 atIndex:0];
// 设置透明半边顶点数据
[renderEncoder setVertexBuffer:self.alphaVertices offset:0 atIndex:1];

三. 修改片段着色器

片段着色器的修改也非常简单,既然我们已经传入了一个“含1个顶点坐标、2个纹理坐标”的数据结构了,我们分开对其进行采样就可以了:

fragment float4 fragmentShader(RasterizerData input [[ stage_in ]],
                               texture2d <float> colorTexture [[ texture(0) ]]) {
    constexpr sampler textureSampler (mag_filter::linear, min_filter::linear);
    float3 rgbColorSample = colorTexture.sample(textureSampler, input.textureCoorRgb).rgb;
    float alphaColorSample = colorTexture.sample(textureSampler, input.textureCoorAlpha).r;
    return float4(rgbColorSample, alphaColorSample);
}

修改完上面的代码,满怀欣喜地跑一跑:

???我明明将背景色设为灰色了呀,这飞机怎么看上去还是不透明的???

经过一番搜索,终于在万能的Stack Overflow搜索出了解答,原来MTKView的默认是不透明的,需要将他的不透明设置为NO。

self.mtkView.opaque = NO;

好啦,大功告成!

四. 总结

经过上一个从零开始章节的折磨,你会发现这个章节异常地简单,这是因为对于图形渲染的原理有所入门之后,了解到了纹理、采样的一些知识,对于这个需求也便得心应手了。

这一章主要介绍了如何将顶点着色器变为多个输入,以及如何按照自己的需求对纹理进行采样。

但是如果这是个视频格式的话,还需要额外进行一些处理,接下来将继续在Demo中探索如何渲染出一个透明通道视频,继续加油!

上一篇下一篇

猜你喜欢

热点阅读