深度循环优化器DRO：从视频流估计深度和相机轨迹

阿里云人工智能实验室提出了一个基于神经网络的端对端深度循环优化器，能够实时从视频中计算出视频流中每张图的深度和对应的相机轨迹，效果超越了之前所有的深度SFM方法，也使一些无法计算梯度的优化问题的求解成为可能。

论文链接：
https://arxiv.org/abs/2103.13201
代码链接：
https://github.com/aliyun/dro-sfm
DRO KITTI demo：
https://www.zhihu.com/zvideo/1376571242087002113

一、Motivation

解决一个优化问题，常见的优化器比如梯度下降法, 牛顿法等, 一般会先计算梯度------>再求出参数下一步更新的方向和步长。

我们提出zero-order的循环神经网络优化器（DRO）, 不需要求解梯度, 直接利用神经网络来预测下次更新的方向和步长。将优化目标cost，放入到神经网络中，每次迭代都会参考之前尝试的历史信息，从而给出更加精准的预测。也就是说，如果错误的预测值，就会使得cost变大，正确的预测值会使得cost变小，在不断尝试中，神经网络学习到了如何使得cost变小。

我们将DRO应用到了Structure from Motion（SFM）这个问题中。目前利用深度学习求解SFM，效果较好的有两种路线，第一种是基于梯度的优化方法，比如BANet，设计出深度网络版本的LM算法，每次迭代中只有步长由深度网络预测。在SFM中，需要求解depth和pose，其中depth参数量较大，会导致计算出的梯度会带有noise，影响最终的效果。我们的DRO不用计算梯度，简化问题，同时能提升效果。第二种是基于cost-volume的方法，比如DeepSFM，将depth和pose的解空间，进行离散化，构建cost-volume，再利用3d卷积做正则化进行预测。相比我们基于优化的方法，它在空间域上进行了大量的采样，占用显存较大，性能较低，我们的方法相当于从时间域上出发，利用时间域里的信息，来进行问题的求解。

实验结果证明我们DRO，在室外KITTI和室内Scannet数据集上，都取得了超越以往所有算法的结果，同时计算消耗大大降低，也使一些无法计算梯度的优化问题的求解成为可能。

二、简介

Structure from Motion (SfM) 是一个经典的计算机三维视觉问题，有着广泛的应用。它的任务是从一系列不同位置拍摄的图片，估计出每张图片的深度信息和对应的摄像机位姿，恢复出一个场景的三维模型。

近年来，基于深度学习的稠密SfM方法兴起，相比于传统的基于优化的SfM方法展现了很多优势。早期的基于学习的方法是使用一个神经网络直接回归每张图片的深度和摄像机位姿，简单暴力，取得了一些成果，但是这类方法最明显的问题就是忽略了任务中的有用信息，如多视角几何约束。所以现在越来越多的方法开始尝试将神经网络与传统优化理论结合起来，利用几何约束构建优化目标函数cost，然后结合优化理论、利用神经网络来优化这个cost。

我们的方法就是后面一种——利用神经网络求解优化问题。之前的这类方法主要有两个问题，第一个是，很多方法需要显式地计算梯度，然后利用 Levenberg-Marquardt或者Gauss-Newton法来最小化目标函数。这样就需要面对很多任务中梯度计算很困难、甚至根本无法计算梯度的问题，就算可以近似求解出梯度，在高维优化问题中也可能会有很多噪声，近似梯度的下降方向并不一定能将变量优化到全局最小值。第二个问题是很多方法都需要构建cost volume，cost volume可以在所有变量的邻域内评估cost，能够充分地考虑所有空间维度上的信息，已经被证明是很有效的手段。但是与它的有效性对应的，是它高昂的计算开销和空间占用。

为了解决这两个问题，我们提出了一个新的架构，一个不需要计算梯度也不需要构建cost volume的优化器——deep zeroth-order recurrent optimizer。我们认为，之前的方法之所以受困于以上两个问题，是因为它们只在空间域上求解，忽略了很重要的时间域信息。所以我们尝试在不使用梯度和cost volume的情况下，引入循环神经网络GRU，利用时间维度上的信息、历史优化轨迹来迭代、交替优化深度图和摄像机位姿。实验结果证明，我们的方法是非常有效的，仅仅利用一个feature-metric cost，我们的空域+时域优化器，在室内室外多个数据集上、在有监督和无监督两种设置下都取得了超越之前算法的结果。

三、深度循环优化器算法

深度循环优化器整体框架

整体来看，我们的框架以当前帧图像和相邻帧图像做为输入，经过特征提取网络提取到图像特征，然后接depth head和pose head得到初始深度图和摄像机位姿。基于当前估计的深度图和摄像机位姿我们可以计算一个feature-metric error作为我们的cost。之后GRU启动，每次基于当前变量值、当前cost、和图像特征，不断循环迭代优化深度图和摄像机位姿，优化到最优值。

1. 特征提取和目标函数构建

我们基于ResNet-18来提取图像特征，然后基于图像特征和当前估计的深度和摄像机位姿构建一个feature-metric cost map:

公式中的是3D点到图像平面的投影，所以有了像素点 x 的深度，反投影就将 x 反投成3D点，然后坐标转换矩阵将这个3D点从的相机空间转换到的相机空间，最后投影将3D点投射到图像上。这样就找到了图像和间像素点的位置对应关系，在对应位置的特征图上作差即得到我们的cost map。

当有多张相邻帧图片时，我们会计算一个平均cost作为depth的cost:

而post的cost使用的就是

2. 迭代优化

与传统优化理论类似，我们也是迭代优化cost的，在每一步优化中，优化器都会输出更新增量，基于这增量我们不断更新当前值，这样一点一点地优化估计的深度图和摄像机位姿，直到最优值。

循环优化器我们采用了GRU结构，如图所示：

循环迭代优化器结构

在每一步优化中，我们交替优化depth和pose，这样可以减少两个变量之间的相互影响，降低优化难度，提高优化稳定性。整个优化分为m个阶段，在每个优化阶段中我们首先固定住pose更新depth，迭代更新n次，然后固定住depth更新pose，同样迭代更新n次，这样depth和pose总共都是交替更新了m*n次。在所有的实验中，如果不加特殊说明，m设为3，n设为4。

为了看一下整个优化过程中优化器到底做了什么，我们可视化了随着迭代次数增加，cost的变化和depth、pose的估计结果: