Fusion++: Volumetric Object-Leve
2018-09-11 本文已影响0人
hi_lan
Fusion++ 是一篇重建物体tracking和relocalization.
图片来自论文
1. 首先利用的mask rnn检测物体(instance), 然后对检测出的用TSDF进行重建，这里不仅重建了物体，还重建了物体周围的背景；
图片来自论文
２. 新来一帧，先做local tracking. Local tracking 是将世界坐标系下的点render到当前当前相机下，计算point-to-plane error, 得到absolute pose，然后更新tsdf model. 将建立的tsdf, 反投影到当前帧，找出与该model Iou匹配最高的mask, 然后利用该mask上的深度值和rgb来更新此tsdf.
3.optimization. 以物体的tsdf为中心建立物体坐标系，然后利用transformation之间（相机坐标系，物体坐标系，世界坐标系）的关系建立约束，进行优化。
４.relocalization. BRISK feature + 3D-3D RANSAC + OpenGV
########################################################
最近为了做论文对比，复现了fusion++, 放几个图
第一行是48帧同一物体建立的tsdf的椅子，然后用marching cube提出来，第二个是我们实验的结果
