3D gaussian splatting 高斯的使用方法及训练

github链接：https://github.com/graphdeco-inria/gaussian-splatting

！！github上有视频教学链接，十分详细，可以直接跟着视频学习。

首先我们需要去github上将项目clone或者下载到我们的电脑上。但是在开始运行之前我们通常需要下载一些软件，并把他们加入到环境变量之中去。（最好是使用命令clone，我是直接下压缩包载的，会缺少两个库。clone不会出现这个bug）

# SSH
    git clone [git@github.com](mailto:git@github.com):graphdeco-inria/gaussian-splatting.git --recursive
# HTTPS
    git clone [https://github.com/graphdeco-inria/gaussian-splatting](https://github.com/graphdeco-inria/gaussian-splatting) --recursive

运行的环境要求：

• CUDA 11.x 和对应的pytorch版本
• 论文中说明需要24G的显存，实际测试下来也没有那么高，可能是我的图片大小并不大
• cmake，论文中使用的版本是3.24

需要安装的软件：

• annaconda：这是给项目提供了运行的环境
• git：用于下载项目代码（这个可以不用）
• VS：论文中使用了Visual studio 2019（使用vscode也一样）
• Colmap: 下载colmap，并加入环境变量
• ImageMagick：是一个免费开源的跨平台软件套件^，用于显示、创建、转换、修改和编辑光栅图像。
  • 安装方法可以参考：https://www.cnblogs.com/echohye/p/17727865.html、https://imagemagick.org/script/install-source.php
  • 验证方法：/usr/local/bin/convert logo: logo.gif
• FFMPEG：用于制作数据集从视频中抽取帧

注：如果是Windwos系统的话，需要在项目的根目录运行这行代码：

SET DISTUTILS_USE_SDK=1 # Windows only

如果之前有pytorch的环境的话，基本上不需要再安装环境，如果没有ngp环境，可以使用以下conda命令进行环境的创建和搭建：

conda env create --file environment.yml
conda activate gaussian_splatting

---

如果是想要训练自己的数据，需要经历如下几个步骤：

（1）数据准备
假设我拍摄的是一段人脸的视频（face.mp4），首先我们需要构建一些文件目录：data → face → face.mp4, data → face → input；

我们进入到face目录下：

ffmpeg -i face.mp4 -qscale:v 1 -qmin 1 -vf fps=10 %04d.jpg

然后将所有生成的图片都移动到input文件夹中，然后我们切换到根目录并激活虚拟环境。

接下来我们就要使用脚本进行数据准备了，这就是位姿的准备了实际上就是使用colmap进行位姿恢复。

python convert.py -s <location> [--resize] #If not resizing, ImageMagick is not needed

# 我使用的命令
python convert.py -s ./data/face

（2）训练

python train.py -s <path to COLMAP or NeRF Synthetic dataset>

# 我使用的命令
python train.py -s ./data/face

如果你遇到了下面的问题，就按照下面的方法来：

在运行这段代码的时候我发现，他会报一个这样的错：

from diff_gaussian_rasterization import GaussianRasterizationSettings, GaussianRasterizer
ModuleNotFoundError: No module named 'diff_gaussian_rasterization'

这表明我们的项目中和环境中都是没有这个库的，于是我尝试了使用pip、apt和conda的安装，都表示没有。经过查找发现在作者的github下有一个仓库中包含这个库：https://github.com/graphdeco-inria/diff-gaussian-rasterization

那么我们可能需要手动安装这个库：
先下载这个库，然后运行下列命令：

sudo apt-get install libglm-dev 
python setup.py build
python setup.py install 
pip install plyfile

这是一个光栅化引擎。不出所料，又缺少了一个库simple_knn._C
然后，在查找bug的过程中，我并没有发现这个库，作者也没有提供。

于是，我尝试了另一种方法。由于之前是直接下载项目解压的，可能出了一些问题，于是我重新使用git clone了一下。并且按照github的要求，配置了一个新的环境：

git clone https://github.com/graphdeco-inria/gaussian-splatting --recursive

conda env create --file environment.yml

训练总耗时：10分钟26秒

训练过后，我们可以在项目的根目录生成一个output文件，并且会生成一个随机的文件夹名字，里面包含四个文件。我们可以将这个文件夹名改成我们自己想要的名字。

（3）查看模型并渲染

Ubuntu 22.4：

# Dependencies

sudo apt install -y libglew-dev libassimp-dev libboost-all-dev libgtk-3-dev libopencv-dev libglfw3-dev libavdevice-dev libavcodec-dev libeigen3-dev libxxf86vm-dev libembree-dev

# Project setup

cd SIBR_viewers

cmake -Bbuild . -DCMAKE_BUILD_TYPE=Release # add -G Ninja to build faster

cmake --build build -j24 --target install

如果是Ubuntu的话，这个软件将会保存到：/gaussian-splatting/SIBR_viewers/install/bin/

Windows：

cd SIBR_viewers

cmake -Bbuild .

cmake --build build --target install --config RelWithDebInfo

你需要去下载一个软件，用于查看渲染结果，这里给出链接：https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/binaries/viewers.zip

然后运行：

cd install/bin

./SIBR_gaussianViewer_app -m ~/Documents/gaussian-splatting/output/face

正如论文所描述的3D高斯就是由一个个的椭球组成的。

这是点云的效果。

这是渲染效果。

我们可以通过awsdqr来控制其在水平方向上的移动，通过控制ijkluo来控制视角的变换。

该算法还是非常清晰的，效果挺好的。