L. v. Stumberg and D. Cremers, “DM-VIO: Delayed Marginalization Visual-Inertial Odometry,” in IEEE Robotics and Automation Letters, vol. 7, no. 2, pp. 1408-1415, April 2022, doi: 10.1109/LRA.2021.3140129.

论文阅读方法TitleAbstract——>是否符合研究方向——>Conclusion——>是否感兴趣——>图表实际效果——>Introduction吹嘘效果——>Result论文核心部分——>Experiment实验方法过程中随时可以停止阅读

摘要

我们提出了DM-VIO这是一种基于两种新技术的单目视觉惯性里程计系统称为延迟边缘化和位姿图BA。DM-VIO使用视觉残差的动态权重执行BA。我们采用边缘化这是一种流行的策略可以限制更新时间但它不容易逆转并且必须固定连接变量的线性化点。为了克服这个问题我们提出延迟边缘化这个想法是维护第二个因子图其中边缘化被延迟。这使我们能够稍后重新推进此延迟图从而在具有新的一致线性化点之前产生更新的边缘化。这是提议的姿势图束调整的基础我们将其用于 IMU 初始化。与之前关于IMU初始化的工作相比它能够捕获完整的光度不确定性从而改善了尺度估计。为了应对最初无法观测到的尺度我们在IMU初始化完成后继续优化主系统中的尺度和重力方向。我们在 EuRoC、TUM-VI 和 4Seasons 数据集上评估我们的系统这些数据集包括飞行无人机、大型手持设备和汽车场景。由于提议的IMU初始化我们的系统超越了视觉惯性里程计的最新技术甚至在仅使用单个相机和IMU的情况下优于立体惯性方法。该代码将在以下位置发布 http://vision.in.tum.de/dm-vio .

一、引言

视觉惯性里程计在机器人、自动驾驶和增强现实中的应用越来越相关。用于此任务的相机和惯性测量单元IMU的组合是一个流行且明智的选择因为它们是互补的传感器从而形成高度准确和强大的系统[1]。在单个摄像机的最小配置中IMU 还可用于恢复公制刻度。然而这种刻度并不总是可观察到的最常见的退化情况是恒定速度的运动[2]。因此根据轨迹此类系统的初始化可能需要任意长的时间。更糟糕的是当过早初始化时IMU 实际上会降低性能。IMU初始化的困难是为什么立体惯性方法在过去优于单惯性方法。

大多数以前的系统[3]-[5]最初并行运行仅视觉里程计和IMU初始化。完成后视觉惯性系统启动。这引入了初始化周期持续时间的权衡它应该尽可能短因为在此期间主系统中不使用 IMU 信息。但是如果太短比例估计将不准确从而导致性能不佳。

VI-DSO [6] 而是使用任意刻度立即初始化并在主系统中显式优化标度。这会产生高度准确的比例估计值但它会显著增加正确估计比例的时间。此外在初始缩放误差非常高的情况下例如在大型户外环境中它可能会失败。

我们提出了两种策略的组合与前者类似我们从仅视觉系统开始并行运行 IMU 初始值设定项。但是在IMU初始化之后我们仍然将尺度和重力方向估计为主系统中的显式优化变量。这导致快速收敛和高精度的系统。

此初始化策略可能导致三个问题

• 如何在 IMU 初始值设定项中正确捕获视觉不确定性。

• 如何将有关比例和 IMU 变量的信息从 IMU 初始值设定项传输到主系统

• 如果规模估计发生变化如何保持先前的一贯边缘化

VI-DSO[6]试图通过引入动态边缘化来解决3问题这确实使边缘化因素保持一致但在此过程中丢失了太多信息。

在这项工作中我们提出了延迟边缘化这为所有这三个问题提供了有意义的答案。这个想法是保持第二个延迟边缘化先行其开销很小但支持三种技术

• 我们可以用新的 IMU 因子填充延迟因子图以执行建议的姿势图束调整 PGBA。这是 IMU 初始化的基础它可以捕获完整的光度不确定性从而提高准确性。

• 用于 IMU 初始化的图形可以重新推进从而在主系统的 IMU 信息之前提供边缘化。

• 当主系统中的规模发生显著变化时我们可以触发边缘化替代。

这些技术的组合使初始值设定项具有高度的准确性即使对于长时间的不可观测性它也具有鲁棒性。在此基础上我们实施了一个视觉惯性里程计VIO系统该系统具有与新的动态光度测量权重集成的光度前端。

我们在三个具有挑战性的数据集图1上评估了我们的方法捕获了三个域飞行无人机记录的EuRoC数据集[7]手持设备捕获的TUM-VI数据集[8]和汽车4Seasons数据集[9]。后者具有长时间的恒定速度对单惯性里程计提出了特殊的挑战。

我们表明我们的系统超越了视觉惯性里程计的最新技术甚至优于立体惯性方法。总之我们的贡献是

• 延迟边缘化弥补了边缘化的弊端同时保留了优势。

• 位姿图BA PGBA 将位姿图优化的效率与BA的完全不确定性相结合。

• 最先进的视觉惯性里程计系统具有新颖的多级 IMU 初始值设定器和动态加权光度系数。

我们将发布我们方法的完整源代码。

二、相关工作

最初大多数视觉里程计和SLAM系统都是基于特征的[10]要么使用过滤[11]要么使用非线性优化[12][13]。最近已经提出了直接方法该方法优化了光度误差函数并且可以在密集[14][15]半密集[16]或稀疏点云[17]上运行。

Mourikis和Roumeliotis[1]已经表明视觉和惯性测量的紧密集成可以大大提高测程法的准确性和鲁棒性。之后提出了许多紧密耦合的视觉惯性里程计[18][19]和SLAM系统[3][5][20][21]。

单目视觉惯性系统的初始化并非易事因为需要足够的运动才能观察到尺度[2][22]。大多数系统 [3]–[5] 从仅视觉系统开始并使用其输出进行单独的 IMU 初始化。与这些系统相比我们继续在主系统中明确优化规模。我们注意到 ORB-SLAM3 [5] 在初始化后也会继续细化比例但这是一个单独的优化修复了所有姿势并且仅在初始化后 75 秒之前执行。[23] 还继续优化主系统中的尺度但与我们相反它们没有办法在主系统和初始值设定项之间传递协方差因此它们没有达到相同的精度水平。与所有这些系统不同提议的延迟边缘化允许我们的IMU初始值设定项捕获完整的视觉不确定性并不断优化主系统中的规模。

VI-DSO [6] 立即使用任意刻度进行初始化并在主系统中显式优化标度。它还引入了动态边缘化以处理主系统中随之而来的大规模变化。与之相比我们提出了一个单独的IMU初始值设定项延迟边际化作为动态边缘化的更好替代方案动态光度误差权重以及更多的改进从而大大提高了准确性和鲁棒性。

很多博士推荐重点读Related Work因为这里可以知道研究领域的演变现状知道这篇paper是如何基于之前的工作进行改进创新的。

三、方法

A.符号

定义了公式推导需要的符号

B.直接视觉惯性BA

手动推导BA

C. 使用舒尔补数的部分边缘化

这个线性系统在连接所有变量之前形成边缘化α (图 2 a。

我们最多保留Nf=8束调整期间的关键帧1.边缘化策略是从[17]中接管的这意味着与固定滞后平滑不同我们并不总是边缘化最旧的姿势而是保持新旧姿势的组合只要它们不离开视野。如[17]所示这优于视觉里程计的固定滞后平滑器。边缘化姿势时首先将帧中托管的所有剩余点边缘化并丢弃具有剩余活动点的残差。这保留了黑森州的稀疏性同时保留了足够的信息。

D. 延迟边缘化

上一节中解释的边缘化概念具有捕获完整概率分布的优点。事实上求解由此产生的更小的系统等同于求解大得多的原始系统只要边缘化因素不被重新线性化。

但是它也具有严重的缺点如果不重做整个边缘化程序就不可能恢复一组变量的边缘化。此外为了保持边缘化先前的一致性必须应用第一估计雅各布派FEJ[28]。这意味着所有连接变量的线性化点必须在它们连接到边缘化之前立即固定。这对于视觉惯性里程计尤其成问题因为一旦第一个关键帧被边缘化尺度就与边缘化相关联但可能会发生重大变化。在[6]中引入了动态边缘化来解决这个问题但它的应用仅限于单个一维变量即尺度并且当尺度快速变化时会丢失大多数先验惯性信息。

在这里我们介绍延迟边缘化它规避了边缘化的缺点同时保留了优势。它使我们能够

• 有效地撤消部分边缘化以捕获姿势图丛调整的完整光度概率分布第 III-E 节。

• 在 IMU 初始化之后使用 IMU 信息更新最初仅视觉边缘化。

• 在马尔可夫毯中重新线性化变量同时保留所有视觉和大部分惯性信息。

延迟边缘化的想法是边缘化无法撤消但可以延迟除了正常的边缘化先验之外我们还维护第二个延迟边缘化先验和相应的因子图。 在此延迟图中帧的边缘化以d.在延迟图中点仍然同时被边缘化导致光度系数线性化。我们注意到保留了与原始图表中相同的边缘化顺序。为此图切换到固定滞后平滑将立即导致更大的马尔可夫毯危及系统的运行时。例如在图2 b中我们描述了延迟的边缘化P1.马尔可夫毯子只包含P0,P2和P3.如果我们反而边缘化最古老的框架P0马尔可夫毯将包含P1−P7从而延长运行时间。

延迟图中的边缘化与原始图中的边缘化具有相同的运行时间延迟图包含与原始图相同的光度系数并且点同时被边缘化。这意味着延迟图中的每个线性化光度系数都恰好连接到Nf=8生成相应因子时处于活动状态的关键帧。通过保持边缘化顺序延迟图中的马尔可夫毯始终与原始图中的马尔可夫毯具有相同的大小。因此舒尔补码的运行时间是相同的。这意味着即使对于任意大的延迟延迟边缘化的开销也非常小因为它只相当于每个延迟图的额外边缘化过程。

E. IMU 初始化的位姿图BA

位姿图优化+BA基于IMU初始化

F. 强大的多级 IMU 初始化

我们的初始化策略基于三个见解

• 当某些变量未知在我们的例子中是尺度、重力方向和偏差而其他变量接近最佳时最有效的方法是首先优化未知变量并修复其他变量。

• 通过联合优化所有变量捕获全协方差可以获得最准确的结果。

• 边缘化时连接变量必须接近最优值否则边缘化先验变得不一致。

这些观察结果激发了1粗略的IMU初始化2PGBA以及3边缘化替换图3。请注意在“初始化主 VIO”之后主 VIO 系统 III-B绿框已经并行运行。

对于此初始值设定项我们使用延迟为d=100.即使在第一次初始化之后此延迟图也将始终仅包含视觉因素而不包含IMU因素以方便边缘化替换。

在实时模式下我们在单独的线程中执行粗略的 IMU 初始化和 PGBA。请注意建议的延迟边缘化对于此 IMU 初始化的重要性。它允许PGBA从光度束调整中捕获完整的协方差。通过读取这也使我们能够在主系统之前生成边缘化其中包含来自初始值设定项的所有 IMU 信息。最后它用于在初始化后尺度发生变化时更新边缘化。

四、结果

我们在EuRoC数据集[7]TUM-VI数据集[8]和4Seasons数据集[9]上评估了我们的方法分别涵盖了飞行无人机手持序列和自动驾驶。我们鼓励读者观看补充视频该视频显示了4Seasons和TUM-VI幻灯片的定性实时结果1。我们还在 http://vision.in.tum.de/dm-vio 提供的补充中提供消融研究和运行时间评估。

除非另有说明否则所有实验均在同一台MacBook Pro 2013i7 at 2.3 GHz上以实时模式进行该MacBook Pro 2013用于在[6]中生成结果而不使用GPU。由于 ORB-SLAM3 在 MacOS 上不受官方支持因此我们在稍强的台式机上展示了它的结果该桌面采用英特尔酷睿 i7-7700 K频率为 4.2 GHz这与他们论文中使用的 PC 非常相似。

所有方法针对 EuRoC 评估 10 次针对每个序列的其他数据集评估 5 次。在 [17] 之后结果以累积误差图表示该图显示了跟踪了多少个序列y 轴其精度优于 x 轴上的阈值。我们执行南E3将轨迹与提供的地面实况对齐并报告均方根误差 RMSE也称为绝对轨迹误差 ATE。在 TUM-VI 和 4Seasons 上轨迹长度可能会有很大差异因此我们报告了%我们用它计算漂移=RMSE⋅100长度.我们还显示了与其他论文中的数字进行比较的表格并报告了我们方法的每个序列的中位数结果。

A. EuRoC 数据集

EuRoC数据集[7]是迄今为止最流行的视觉惯性数据集并且已经对其评估了许多强大的方法。在表I中我们将视觉惯性里程计的最新技术进行比较所有结果都没有闭环。我们的方法在RMSE方面明显优于所有其他方法。最接近的竞争对手是玄武岩[20]这是一种立体惯性方法可在2个序列上实现较小的误差。我们还观察到数据集上迄今为止报告的最低平均比例误差证实了我们在 IMU 初始化方面的贡献对性能有积极影响。在补充中我们提供了运行时评估显示跟踪平均需要 10.34 毫秒关键帧处理需要 53.67 毫秒。延迟边缘化导致关键帧线程中 0.44 毫秒或 0.8% 的开销。

B. TUM-VI数据集

TUM-VI数据集[8]是一个非常具有挑战性的手持数据集具有大规模的室内和室外场景甚至序列从管子上滑下来几乎覆盖了完整的图像。由于长时间沿直线行走立体方法在这里具有优势因为它们仍然可以通过不断运动来观察比例。我们将表II中[8]中评估的最先进的视觉惯性里程计方法进行比较。我们的方法在大多数序列上明显优于VINS-Mono [3]中的其他单目方法即使与立体声方法相比它在16个序列上也显示出最佳结果平均漂移为0.472。最接近的竞争对手仍然是玄武岩它在 8 个序列上取得了最佳结果平均漂移为 0.939。

在这个数据集上我们还评估了ORB-SLAM3 [5]这是最先进的视觉惯性SLAM系统。这并不完全公平因为 ORB-SLAM3 使用环路闭合不能禁用与其他方法相比具有优势。我们发现这种比较仍然很有帮助因为它可以得出有关潜在里程计的结论。我们对每个序列进行了5次评估ORB-SLAM3并使用作者提供的代码和设置重现了它们的结果。对于此比较我们还评估了VI-DSO[6]结果如图4所示。我们观察到ORB-SLAM3 在某些序列上更准确这要归功于其非常强大的闭环系统。但是我们的方法总体上更健壮。这表明将闭环和映射重用集成到我们的系统中将是一个有趣的未来研究方向。

C. 四季数据集

4Seasons数据集[9]是一个非常新的汽车数据集与大多数其他汽车数据集相比它具有时间同步良好的视觉惯性传感器。图像的下部被汽车引擎盖遮挡因此我们裁剪了底部的 96 像素我们对所有方法都这样做。由于这是在 4Seasons 数据集上评估的第一种测程方法因此我们确保以相同的方式确定所有方法的 IMU 噪声参数以确保公平比较我们手动读取了 IMU 数据手册中提供的艾伦方差图中的加速度计和陀螺仪噪声密度和偏置随机游走。为了处理未建模的效果我们遵循[8]并将噪声值膨胀不同数量以确定所有方法的最佳设置。对于每种方法我们尝试了分别膨胀1101001000的噪声模型并选择了最佳结果的配置。对于 VI-DSO 和我们的方法我们通过在 x 和 y 轴上的平移之前添加一个零来稍微修改视觉初始值设定项并且还添加了一个阈值来停止为小于 0.01 m 的平移创建关键帧后者没有为 VI-DSO 激活因为它没有改善它的结果。否则参数与其他实验相同。对于玄武岩我们尝试了所有三种提供的默认配置具有最佳噪声值以找到最佳设置。在为每种方法选择配置后我们执行一次最终评估每个序列运行所有 30 个序列 5 次。

结果如图 5 所示。很明显汽车场景对于单目方法来说非常具有挑战性。这是意料之中的因为它自然具有许多具有恒定运动的拉伸其中无法观察到比例这对 IMU 初始化构成了挑战。得益于我们新颖的IMU初始化DM-VIO不仅在数据集上运行良好而且在使用单目图像且无闭环的情况下甚至优于立体惯性ORB-SLAM3和玄武岩。

五、结论和未来工作

我们提出了一种单目视觉惯性里程计系统该系统的性能优于最先进的甚至是立体惯性方法。得益于新颖的 IMU 初始值设定项它在飞行、手持和汽车场景中运行良好扩展了单目方法的适用性。我们的 IMU 初始化的基础是延迟边缘化这也支持位姿图BA。

我们预计这种方法将激发这方面的进一步研究。延迟边缘化的想法可以应用于更多用例例如在边缘化设置中重新激活旧关键帧以实现地图重用。位姿图BA也可以应用于长期循环闭包。最后我们的开源系统易于扩展因为所有优化都与GTSAM集成允许快速添加新因素。这可用于 GPS 集成、车轮里程计等。

德国慕尼黑工业大学的计算机视觉研究组的两位教授做的工作单目视觉惯性里程计在三大数据集上都进行了实验效果达到最先进甚至超过了双目视觉系统。创新点在于延迟边缘化IMU初始化时使用位姿图BA的方法进行位姿估计。代码开源是2022年看到最好的论文没有之一。