GU-net
本文设计了一个下采样模块,并将其重复堆叠 4 次以形成下采样路径,而将一个上采样模块重复堆叠两次以构成上采样方式。类似 FPN、GU-net 生成三张点特征图的特征金字塔。下采样使用的是 FPS,然后通过KNN构建局部区域,再使用 SA-GConv 更新特征,上采样模块的过程与下采样模块的过程相反,主要由 SA-GConv 执行。
候选生成器
GU-net 生成了包含多级语义的三张点特征图。一些先前的方法(如 VoteNet)仅使用一个特征图进行目标预测。即使通过在上采样过程中融合较低层的特征来计算较高层的特征,由于不同层的特征提供了各种语义,因此将多层特征一起用于候选生成会更加有益。本文提出了一种候选生成器,以改进的投票模块作为主要结构来预测对象中心,该模型将多级特征转换为相同的特征空间。接下来为了聚合特征,通过 FPS 保留 Np 的投票,该做法与 VoteNet 类似,从而融合多级特征以预测边界框及其类别。
候选推理模块
通过以上几步,多层局部的语义信息已经被很好的捕捉到了,但全局信息还没有很好的学到,或者说可能有些目标在点云中只体现出很小的一部分表面的点,在这样少的信息下很难正确的将其识别出来。其推理过程为:
其中 Hp 表示候选特征 tensor,P 表示候选的相对位置
论文实验
本文在 SUN RGB-D 和 ScanNet-V2 两个数据集上进行了实验。
此外,本文还进行了消融实验以证明各模快的有效性。
结论
本文提出了一种新颖的 HGNet 框架,该框架通过层级图建模学习语义。
具体来说,作者提出了一种新颖且轻巧的形状注意图卷积来捕获局部形状语义,该语义聚合了点的相对几何位置的特征。基于 SA-GConv 和 SA-DeGConv 构建了 GU-net,生成了包含多级语义的特征金字塔。要素金字塔投票的点将位于相应的对象中心,并且进一步聚合多级语义以生成候选。然后使用 ProRe 模块在候选之间合并和传播特征,从而利用全局场景语义来提高检测性能。最后,对边界框和类别进行了预测。