[论文笔记]ElasticFusion中的位姿估计部分

2019-07-17 本文已影响0人 liampayne_66d0

融合预测的跟踪

场景用一个无序的surfel列表 $M$ 表示(同文献[9]),其中每个表面 $M^{\hat s}$ 具有下面这些属性：
位置 $p\in R^3$
法线 $n\in R^3$
颜色 $c\in N^3$
权重 $w\in R$ (这里权重是什么？？？)
半径 $r\in R$ 给定点周围的局部表面区域，同时最小化可见孔，计算如文献[17]/半径通过场景表面离相机光心的距离的求得，距离越大，面片的半径越大
初始化时间戳 $t_0$
最后更新时间戳 $t$
表面处理初始化和深度图融合和文献[9]中一样，使用地图进行位姿估计时有两处不同
- 不仅通过几何frame-to-model预测深度图，还通过frame-to-model预测了颜色
- 我们定义了一个时间窗阈值 $\delta_t$ ，它将M划分为活动和非活动的surfel。(仅标记为活动模型表面的部分被用于相机姿势估计和深度图融合。当自上次更新表面以来（即，具有与其相关联的原始深度测量用于融合）的时间大于时 $\delta_t$ ，M中的表面被宣布为非活动状态。

A.几何位姿估计

当前帧深度图 $D_t$ (原文这里用的depth map)和来自上一帧的预测active模型深度图 $\hat D_{t-1}^a$ 之间的运动参数 $\xi$ ，通过最小化3D back-projected(反投影) 顶点之间的点到平面的成本误差函数得到：(2)
$E_{icp}=\sum_k((v^k-exp(\hat\xi)Tv^k_t)\cdot n^k)^2$

$v_t^k$ 是时间t这一帧深度图中第k个顶点在相机坐标系下的空间位置， $v^k$ 和 $n^k$ 是建立的地图中相关联的顶点和向量（第t-1步优化完毕得到）。T是从先前相机姿势到当前相机姿势的当前估计，并且 $exp(\xi)$ 是将李代数se3映射到对应李群SE3中，代表的应该是前一帧在世界坐标系的位置。顶点之间用投影数据关联互相关联.

该公式表达的含义是用深度图像估计相机姿态变换。而优化的误差函数则是非常正常地将新一帧中对应的点（应该是表达在空间坐标系下），按照姿态变换投影到上一帧位置中去，然后计算它们之间在空间的距离。法向量的左右是计算距离（法向量方向的投影）
其中所谓上一帧的位置，实际上应该叫做当前model的位置。即 $v^k$ 和 $n^k$ 都是与地图相关的量，因而不带下标t。

B.光度位姿估计

在当前的实时彩色图像 $c_t^l$ 和最后一帧的预测活动模型颜色 $\hat c_{t-1}^a$ 之间，目标是找到最小化像素之间光度误差（强度差异）成本的运动参数 $ξ$ ：(3)
$E_{rgb}=\sum_{u\in \Omega}(I(u,c_t^l)-I(\pi(Kexp(\hat\xi)Tp(u,D^l_t)),\hat c_{t-1}^a))^2$

式中，T为从前一个相机姿态到当前相机姿态转换的当前估计值。注意，方程2和3省略了3维向量和对应的齐次4维向量之间的转换(与T相乘时需要)，以简化符号。

$\hat c^a_{t-1}$ 这个值是从估计的active model部分的，而不是单纯的上一帧，所以这是个frame-model模型。 $c^l_t$ 则是新来的一帧彩色图像。T和李群计算，则将其从通过深度取到的深度图坐标系下的空间点转化成，世界坐标系下。

C.联合优化

最小化联合成本函数：
$E_{track}=E_{icp}+w_{rgb}E_{rgb}$

这里设置 $w_{rgb}=0.01$

[论文笔记]ElasticFusion中的位姿估计部分

A.几何位姿估计

B.光度位姿估计

C.联合优化

猜你喜欢

热点阅读