深度估计：SimIPU

SimIPU: Simple 2D Image and 3D Point Cloud Unsupervised Pre-Training for Spatial-Aware Visual Representations

AAAI2022

https://arxiv.org/abs/2112.04680

https://github.com/zhyever/SimIPU

第三方开源：https://github.com/zhyever/Monocular-Depth-Estimation-Toolbox

预训练已经成为许多计算机视觉任务的标准范例。然而，大多数方法通常是在RGB图像域上设计的。由于二维图像平面和三维空间之间的差异，这种预训练的模型无法感知空间信息，并作为3D相关任务的次优解决方案。为了弥补这一差距，我们的目标是学习一种空间感知视觉表示，它可以描述三维空间，并且更适合和有效地执行这些任务。为了利用与图像相比在提供空间信息方面更优越的点云，我们提出了一种简单而有效的2D图像和3D点云无监督预训练策略，称为SimIPU。具体而言，我们开发了一个多模态对比学习框架，该框架包括一个模态内空间感知模块，用于从点云学习空间感知表示，以及一个模态间特征交互模块，用于分别将感知空间信息的能力从点云编码器传递到图像编码器。通过匹配算法和投影矩阵建立对比损失的正对。整个框架以无监督的端到端方式进行训练。据我们所知，这是首次探索户外多模态数据集的对比学习预训练策略的研究，该数据集包含成对的相机图像和LIDAR点云。