论文AI阅读：PCN

PCN: Point Completion Network

2018 International Conference On 3d Vision (3dv)

PCN: Point Completion Network | IEEE Conference Publication | IEEE Xplore

摘要

形状补全是从部分观测结果中估计物体完整几何形状的问题，是许多视觉和机器人应用的核心。在这项工作中，我们提出了点补全网络（PCN），这是一种基于学习的新型形状补全方法。与现有的形状补全方法不同，PCN 直接对原始点云进行操作，无需对底层形状进行任何结构假设（如对称性）或注释（如语义类别）。它采用解码器设计，能够生成细粒度的补全，同时保持少量参数。我们的实验表明，PCN 可以在具有不同程度不完整性和噪声的输入（包括来自 KITTI 数据集中激光雷达扫描的汽车）上生成密集、完整的点云，并在缺失区域具有逼真的结构。

论文背景

我们的工作受到最近一些工作的启发[9, 47]，这些工作利用合成形状的大型数据集来训练深度神经网络，从而可以从单个或组合的局部视图中推断出完整的几何图形。然而，我们的方法与现有方法的关键区别在于三维数据的表示。大多数现有方法都是将三维数据体素化为占位网格或距离场，然后再应用卷积网络。然而，三维体素网格的内存成本呈立方体增长，限制了这些方法的输出分辨率。此外，由于离散化的影响，往往会丢失详细的几何图形。相比之下，我们的网络设计用于在原始点云上运行。这就避免了象素化带来的高内存成本和几何信息丢失，并使我们的网络能够生成更精细的补全信息。设计一个能消耗和生成点云的网络涉及几个挑战。首先，点云是一个无序集合，这意味着点的排列不会改变它们所代表的几何形状。这就需要设计一种特征提取器和损失函数，使其具有排列不变性。其次，点云中的局部邻域没有明确的定义，因此很难应用任何卷积操作。最后，现有的点云生成网络只能生成一小部分点，不足以捕捉输出形状中的足够细节。我们提出的模型通过将包覆不变、非卷积特征提取器和从粗到细的点集生成器结合到一个网络中，并进行端到端训练，来应对这些挑战。

这项工作的主要贡献是

一种基于学习的形状补全方法，可直接在三维点云上运行，无需中间体素化；
一种新颖的网络架构，能以从粗到细的方式生成密集、完整的点云；
大量实验表明，补全结果优于强基线，对噪声和稀疏性具有鲁棒性，可推广到真实世界的数据，以及形状补全如何帮助下游任务。

PCN 架构。编码器将输入点云 X 抽象为特征向量 v。解码器使用 v 首先生成粗略输出 Ycoarse，然后生成详细输出 Ydetail。每个彩色矩形表示一行矩阵。相同颜色表示相同内容。

研究方法

PCN的核心是一个编码器-解码器网络。编码器将输入的点云X抽象为一个特征向量v，解码器则利用v生成粗略输出点云Ycoarse和详细输出点云Ydetail。网络通过最小化预测点云与真实点云之间的损失函数L进行训练。

编码器设计

编码器基于PointNet扩展而来，包含两层PointNet（PN）层。第一层将输入点云中的每个点通过一个多层感知机（MLP）转换为点特征向量，然后通过逐点最大池化得到全局特征。第二层将全局特征与每个点的特征向量结合，再次通过MLP和最大池化得到最终的特征向量v。

解码器设计

解码器结合了全连接解码器和基于折叠的解码器的优点，采用粗到细的点生成流程。首先通过全连接网络生成粗略的点云Ycoarse，然后对Ycoarse中的每个点qi，通过折叠操作生成一个局部点云patch，并将其转换到全局坐标系中，最终得到详细的点云Ydetail。

损失函数

损失函数采用Chamfer Distance（CD）和Earth Mover’s Distance（EMD）来衡量预测点云与真实点云之间的差异。损失函数由两部分组成，一部分是粗略输出与下采样真实点云之间的距离，另一部分是详细输出与完整真实点云之间的距离。