港城大提出任意比例的上采样方法, 实现自由三维点云稠密重建

原创让创新获得认可将门创投今天

收录于话题

#技术干货

18个

From: 香港城市大学编译: T.R

近日，来自香港城市大学的研究人员提出了一种基于线性近似的网络模型MAPU-Net，可以在一次训练后对输入的稀疏点云实现任意“放大比例”的上采样。

针对需要上采样的点云，模型首先通过获取现有点在切平面上的领域点，学习局域几何信息获取插值权重、生成分布在凸包区域内的邻域点云，随后利用稀疏点云的法向量通过数据驱动的方式来优化点云结果，获取最终上采样后的点云。

这种方式在一次训练后可以应用于多个尺度的上采样过程中，并能够生成较为精细的几何结构，具有更强的可解释性和更好的内存效率。

详情请参见论文：

https://arxiv.org/pdf/2011.12745.pdf

3D点云对于复杂几何形貌的目标和场景有着非常强大的表达能力，被广泛应用于机器人操作、无人驾驶、沉浸式感知和文物遗迹保护等领域。但在现有技术条件下，获取准确稠密的三维点云还是一项耗时耗力的工作。这一领域的研究人员一直致力于利用软件的计算手段来代替硬件，从稀疏的低分辨率的点云中获取稠密的高分辨率的点云结果。

3D点云上采样问题通常被视为图像超分辨在三维领域的对应问题，人们从图像超分辨领域借鉴了很多技术处理这一领域的问题。但由于点云与生俱来的非规则性和非均匀性，这些基于规则图像的方法无法发挥出应有的能力。此外，三维点云代表的是目标或场景表面的几何形貌信息，而图像则记录了目标或场景的反射光强信息，这样的差异使得图像领域的超分辨技术无法有效应用于三维点云的处理上来。

针对点云上采样问题，目前学术界主要从两个角度来解决问题，分别是优化方法和基于深度学习的方法。基于优化的方法通常利用局域特征来对局部几何信息进行拟合，在平滑的曲面上可以得到非常好的效果。但这种方法无法保留多尺度的细节，无法有效重建较为细微的形貌信息。而利用神经网络的方法从数据中学习出几何形状点云表达会比基于优化的方法表现更好，但现有的深度学习方法对于点云的几何特性考虑较少，限制了深度学习对于这一问题的处理能力。

此外，很多深度学习方法的上采样率保持固定，这意味着每当需要改变上采样率的时候就需要重新对网络进行训练，消耗大量的调参和训练时间。所以人们开始研究只需要训练一次就能对任意上采样率进行处理的网络模型。

近日，来自香港城市大学的研究人员提出了一种基于线性近似的网络模型MAPU-Net，可以在一次训练后对输入的稀疏点云实现任意“放大比例”的上采样。这种方式在一次训练后可以应用于多个尺度的上采样过程中，并能够生成较为精细的几何结构，具有更强的可解释性和更好的内存效率。

理论分析

针对输入的点云，在用户给定的上采样尺度下需要进行稠密的上采样，并保持重建后的几何细节。具体来讲，针对每个输入的点，需要通过某种插值的方式有效获取其R个邻近的点。

为了从理论上定义这一问题，研究人员首先定义了输入稀疏点集以及其邻域内的k个最邻近点。首先假设输入点周围所要重建的目标表面是局部平滑的，这意味着这一部分可以表达为函数形式：

那么周围邻域点也可以表示为同样的方程

如果梯度连续可以将这一局部的曲面表示为高度的隐函数的形式

利用泰勒展开进行一阶近似后高度函数可表示为：

此时可以将需要生成的上采样点的坐标表示成输入邻域点的仿射组合，

上面的式子就可以改写为：

此时可以定义:

第一项需要估计切平面，第二项是采样点的线性组合，所以使用第二项来进行最终点的估计，同时再加入一项误差项来进行优化。所以最终点的结果可以表达为下面的式子：

以上的理论分析意味着三维点云插值可以被简化为对于插值权重的估计和对于误差修正项的优化过程，所以本文提出的网络结构也针对这两部分展开实现点云上采样。

MAPU-Net

在理论分析的指导下，研究人员提出了点云上采样MAPU-Net模型，可通过输入点云自适应地学习插值权重和优化误差。整套模型的结构框架如下图所示，其中主要包含了三个主要部分：局域特征抽取、插值权重学习以及坐标优化。

在稀疏点输入的前提下，MAPU-Net首先为每个点学习到了D维的高维特征，同时包含最邻近K个点位置信息。最后两种高维特征被融合得到插值权重，输入稀疏点云得到稠密结果。最后，利用基于法向量引导的误差估计结果对稠密化的点云进行优化。在一次训练后，这种方法可以用于热议上采样率的点云加密任务中去(<Rmax)。

首先，输入点云被投影到高维特征空间中，利用局域特征抽取获得有效的特征表达；随后，利用三维特征进行回归学习获取插值权重，得到较为粗糙的上采样点云结果；最后，利用采样点稀疏法向量引导的优化方式来获取最终优化后的点云。在实际使用时，逐区域地进行处理上采样处理。

在局域特征抽取阶段，研究人员采用了动态图网络将每个输入点投影到高维特征空间进行处理。与先前方法对点表述不同的是，这种基于动态图网络的方法基于先前层得到特征间的距离来定义邻域，并使用了全连接来聚合多层特征。通过在特征空间中对邻域进行处理，使得最终的编码同时包含了局域和非局域特征，以及扰动不变性。

在上采样阶段，利用多层感知机对学习出的特征进行处理以得到从输入点到上采样点间的插值函数。为了处理任意比例的上采样任务，研究人员还将得到的R个权重归一化到Rmax，以便根据不同上采样比例选取不同的上采样权重进行处理。最终输出的权重大小为权重的数量与尺度数量Rmax的乘积。在实际使用过程中，针对上采样率R，只需从权重矩阵中选出Top-R个权重，生成R倍的点即可。

在最后的法向量引导优化阶段，由于生成的点与潜在的几何表面还有一定距离的误差，需要利用法向量引导的方法来优化这一误差结果。首先利用前一步获取的点的高维特征对此处的法向量进行估计，而后利用另一个多层感知机来获取插值点处的误差，最终利用获取到的误差与法向量进行点乘来得到生成点最终需要获取的位移结果。