特征点跟踪之LK光流法

2020-08-20 本文已影响0人 Mezereon

一般而言，LK光流用于特征点的跟踪，即前一帧中的关键像素到当前帧所对应的位置

LK光流会有一些假设：

灰度不变假设：即真实世界的一个确定的点，反应到像素级别，其灰度是不变的
微扰不变假设：即时间的微小扰动不会引起像素的剧烈变化
空间一致假设：相同表面相邻的点具有相似的运动，像素级别时他们也比较接近

基于前两个假设，便有如下约束方程
$I(x,y,z)=I(x+\delta x,y+\delta y,z+\delta z)$

其中 $I(x,y,z)$ 是指在 $z$ 时刻，坐标 $(x,y)$ 的灰度值

对约束方程做一阶泰勒展开可得

$I(x+\delta x,y+\delta y,z+\delta z)=I(x,y,z)+\frac{\partial I}{\partial x}\delta x+\frac{\partial I}{\partial y}\delta y+\frac{\partial I}{\partial z}\delta z + R$

其中 $R$ 是高阶余项，视为0

易得
$\frac{\partial I}{\partial x}\delta x+\frac{\partial I}{\partial y}\delta y+\frac{\partial I}{\partial z}\delta z = 0$

两边除以 $\delta z$ ，有
$\frac{\partial I}{\partial x}\frac{\delta x}{\delta z}+\frac{\partial I}{\partial y}\frac{\delta y}{\delta z}+\frac{\partial I}{\partial z} = 0$

其中 $\frac{\delta x}{\delta z}$ 和 $\frac{\delta y}{\delta z}$ 为像素点沿 $x$ 和 $y$ 方向的速度（位移对时间的导数）

简写成 $I_xv_x+I_yv_y+I_z=0$

化作矩阵形式

$\left(\begin{matrix} I_x & I_y \end{matrix}\right) \left(\begin{matrix} v_x \\ v_y \end{matrix}\right) = -I_z$

利用第三假设，可以假设在一个 $m\times m$ 的窗口内，光流是一个恒定的值，即
$\begin{matrix}I_{x_1}v_x+I_{y_1}v_y=-I_{z_1} \\ ... \\ I_{x_{m^2}}v_x+I_{y_{m^2}}v_y=-I_{z_{m^2}} \end{matrix}$

利用最小二乘可以直接得到解

特征点跟踪之LK光流法

猜你喜欢

热点阅读