CVPR 2021 | 港大、牛津提出PAConv: 一种位置自适应卷积，点云分类、分割任务表现SOTA
CVPR 2021 文章专题
第·16·期
由香港大学CVMI Lab和牛津大学合作提出了一种点云上具有动态内核组装的位置自适应卷积——PAConv: Position Adaptive Convolution with Dynamic Kernel Assembling on Point Clouds，论文已被CVPR 2021接收。
论文链接：
https://arxiv.org/abs/2103.14635
代码：
https://github.com/CVMI-Lab/PAConv
近年来，深度学习在三维点云处理上取得了显着进步，但鉴于点云的稀疏性、不规则性和无序性，这仍然是一项具有挑战性的任务。现有方法大致分为三类：
第一类是对点云进行体素化以便可以采用三维网格卷积处理，然而重要的几何信息可能由于量化而丢失，体素化通常也会带来额外的存储和计算成本；
第二类是用共享MLP处理所有点，这种方式难以表征点云空间复杂的变化关系；
第三类则是设计可以直接处理点云的卷积核，现有方法亦受限于计算复杂度或灵活性，本文中也特别对现有的点云卷积与本文方法的关系和区别进行了详尽的讨论。
本文提出了一种即插即用的位置自适应卷积PAConv，通过动态组装基本权重矩阵来构造内核，这些权重矩阵的组合系数由ScoreNet自适应地学习点的相对位置关系得到。PAConv以数据驱动的方式灵活地对三维点云的复杂空间变化和几何结构进行建模，同时保持很高的效率。另外值得一提的是，最近的点云卷积工作大多采用其量身定制的复杂网络架构，使得我们难以评估到底是其自身卷积操作还是网络设计而带来性能的提升。所以，作者直接将PAConv集成到最简单的MLP点云网络中，旨在最大程度地降低网络结构的影响，以更好地评估PAConv本身的性能。
，其中每一个
代表着一个权重矩阵，是权重矩阵的个数。直观地，较大的
有助于用于内核组装的权重矩阵更加多样化。但是，过多的权重矩阵可能会带来冗余，并带来较大的内存/计算开销。作者发现将
设置为8或16是合适的，并在实验部分进行了讨论。
和其相邻点
之间的相对位置关系向量，作者在实验部分也探讨了不同的输入表征。输出为一个归一化的系数向量:
其中
是一个非线性函数，由MLP实现。
代表Softmax归一化函数，
是输入的点的位置关系向量，输出向量
，其中
表示构建核函数
时，每个权重矩阵
的位置自适应系数。Softmax确保输出的系数在 (0,1) 的范围内，以概率选择每个权重矩阵，系数越高，表示输入的位置向量和权重矩阵之间的关系越强，作者在实验部分也比较了不同的归一化函数。
PAConv以动态数据驱动的方式构造卷积核，其中权重矩阵的系数是从点的位置关系自适应学习的，该内核组装策略可以灵活地对点云的不规则几何结构进行建模。
此外，由于权重矩阵是随机初始化的并且可能会收敛为彼此非常相似，因此无法保证权重矩阵的多样性。为了避免这种情况，作者设计了一个权重正则化函数来惩罚不同权重矩阵之间的相关性，其定义为：
至此，本文还将PAConv与现有主流的几种点云卷积PointCNN，PointConv和KPConv进行了详细的对比论述。
三、简单的网络结构
虽然最近的点云网络结构差异较大，但是大多数可以视为经典的MLP点云网络的不同变体。为了评估PAConv的有效性并最大程度地减少复杂网络架构的影响，作者针对不同的点云任务采用了三个基于MLP的经典且简单的网络主干来集成我们的PAConv，而不修改原始的网络架构（如网络层数、特征通道数）。
四、实验
对于物体分类任务，作者采用了ModelNet40数据集，取得了现有方法中最高的分类准确率，并且在不改变原始骨干网络PointNet和DGCNN的结构的情况下，分别带来了明显的提升。
此外，论文还可视化了ScoreNet学到的系数在空间中的分布。可以看出，对于每个权重矩阵，其系数的分布是不同的，表明不同的权重矩阵捕获了不同的点位置关系。
五、总结
//
作者介绍
1. 许牧天，2020年在香港大学齐晓娟教授所领导的CVMI Lab担任研究助理，并即将在今年九月入学香港中文大学（深圳）攻读博士学位，目前的研究兴趣主要是单个3D对象和复杂的3D场景的理解和感知。
个人主页：https://mutianxu.github.io/
2. 丁润语，香港大学齐晓娟教授所领导的CVMI Lab在读博士，此前于清华大学获得学士学位，香港政府奖学金获得者。
CVPR 2021 论文解读 ●●
// 1
// 2
// 3
// 4
// 5
// 6
// 7
// 8
// 9
// 10
// 11
// 12
// 13
// 14
// 15
扫码观看！
本周上新！
