MobileNeRF：手机平板等普通设备上也可实时运行的神经辐射

MobileNeRF: Exploiting the Polygon Rasterization Pipeline for Efficient Neural Field Rendering on Mobile Architectures

30 July, 2022

作者：Zhiqin Chen, Thomas Funkhouser, Peter Hedman, Andrea Tagliasacchi

单位：Google Research Simon Fraser University

原文：https://arxiv.org/abs/2208.00277

开源：https://mobile-nerf.github.io/

神经辐射场（NERF）已经证明了从新视图合成3D场景图像的惊人能力。然而，它们依赖于基于光线行进的专用体绘制算法，这些算法与广泛部署的图形硬件的能力不匹配。本文介绍了一种新的基于纹理多边形的NeRF表示方法，该方法可以使用标准的渲染管道高效地合成新图像。NeRF表示为一组多边形，其中纹理表示二元不透明度和特征向量。使用z缓冲区对多边形进行传统渲染时，生成的图像在每个像素处都具有特征，这些特征由片段着色器中运行的依赖于视图的小型MLP进行解释，以生成最终的像素颜色。这种方法可以使用传统的多边形光栅化管道渲染NERF，该管道提供了大量像素级并行性，在包括手机在内的各种计算平台上实现了交互式帧速率。