论文精读（五）Unsigned Orthogonal Distance Fields: An Accurate Neural Implicit Representation for Diverse 3D Shapes

资源

代码：cscvlab/UODFs: The implementation of our CVPR 2024 paper “Unsigned Orthogonal Distance Fields: An Accurate Neural Implicit Representation for Diverse 3D Shapes.” (github.com)

需要的知识：SDF,UDF

SDF 带符号距离场

距离场：给定一个空间中的几何形状，对于空间中的每一个点，可以计算该点到几何形状的最小距离。所有这些最小距离的集合就是距离场。

符号：带符号距离场不仅表示距离，还会根据点相对于几何形状的位置添加符号。通常，距离场的符号规定如下：

  • 如果一个点位于几何形状的外部，其距离为正值。
  • 如果一个点位于几何形状的内部，其距离为负值。
  • 如果一个点恰好位于几何形状的边界上，其距离为零。

示例 1：圆形的 SDF

假设我们有一个半径为 r 的圆形，圆心在c=(xc,yc)\mathbf{c} = (x_c, y_c)。对任意点 $\mathbf{p} = (x, y) $，其 SDF 表示如下：

d(p)=∥p−c∥−r=(x−xc)2+(y−yc)2−rd(\mathbf{p}) = \|\mathbf{p} - \mathbf{c}\| - r = \sqrt{(x - x_c)^2 + (y - y_c)^2} - r

  • 如果 d§>0，说明点 p 在圆形的外部。
  • 如果 d§<0，说明点 p 在圆形的内部。
  • 如果 d§=0，说明点 p 位于圆的边界上。

UDF 无符号距离场

无符号距离场（Unsigned Distance Field，简称 UDF）与带符号距离场（SDF）类似，也是用于描述几何形状的数学表示方法。不同的是，无符号距离场只表示空间中任意一点到几何形状的最小距离，而不包含点在形状内部或外部的信息，即没有符号的区分。

假设有一个几何形状 S，对于空间中的任意一点 p，无符号距离场 d§ 定义为：

d(p)=min⁡q∈S∥p−q∥d(\mathbf{p}) = \min_{\mathbf{q} \in \mathcal{S}} \|\mathbf{p} - \mathbf{q}\|

其中：

  • ∥p−q∥|\mathbf{p} - \mathbf{q}|∥p−q∥ 是点 p\mathbf{p}p 到 q\mathbf{q}q 的欧几里得距离。
  • q\mathbf{q}q 是几何形状 S\mathcal{S}S 上的一个点。

其中：

  • ∥p−q∥是点 p 到 q 的欧几里得距离。
  • q 是几何形状 S 上的一个点。

摘要

近年来，几何形状的神经隐式表示方法取得了长足的发展。然而，基于距离场的隐式表示，特别是用于无缝形状的带符号距离场（SDF）或用于任意形状的无符号距离场（UDF），在转换为显式表面点和网格时，通常会遭受重建精度的降低。提出一种新的基于无符号正交距离场（UODF）的神经网络隐式表示。在UODF中，从任意空间点到形状表面的最小无符号距离仅在一个正交方向上定义，这与SDF和UDF所做的多方向确定形成对比。因此，3D UODF中的每个点可以沿着三个正交方向直接访问其最近的表面点。这一独特的特点充分利用了曲面点的精确重建，而没有插值误差。我们通过一系列的重建实例验证了UODF的有效性，从简单的不透水或非不透水形状扩展到包括空洞、内部或组装结构的复杂形状。

Watertight Shape（封闭形状）

Non-watertight Shape（非封闭形状）

1 引言

在计算机视觉和图形学领域，三维形状的神经隐式表示（NIR）已经成为一个值得注意的研究领域。目前，用于3D形状的最流行的NIR是基于符号距离场（SDF）的，在诸如形状重建[6，12，24，26，29-32]或新视图合成[22，36，37，39，41]的各种应用中使用。对于任何3D造型，每个空间点的SDF值会显示两个性质：（1）该点是否在造型内部（由SDF符号指示）;（2）从该点到造型表面的所有方向中的最小距离（由其绝对值描述）。尽管基于SDF的NIR在多个环境中提供了优势，但仍存在SDF不适用的若干情形。

第一种情况出现在3D形状不封闭或包含内部结构时。在这种情况下，将SDF符号指定给三维点可能具有挑战性或不准确。为了解决该限制并迎合不同类型的3D形状，研究人员已经提出了基于无符号距离场（UDF）的NIR [8，10，14，20，35，40]。失去符号后，点得UDF值表示从所有方向到形状曲面得最小距离，而不管该点是在模型内部还是外部.

要考虑的第二种情况是从3D形状的NIR精确重建表面点。从SDF或UDF重建表面点的常用方法是移动立方体（MC）算法[23]。该过程在图1（a）的上部示出。神经网络预测受拟合误差影响的网格（立方体）角处的SDF或UDF值。然后，适用于SDF的MC算法通过线性插值估计网格边缘点（GEP）（详细信息请参见放大网格）。然而，由于插值误差，这种近似对于非线性局部形状可能不准确。因此，当使用基于SDF的近红外时，表面点的重建遭受这两种类型的误差。类似的拟合和插值问题也会在深度UDF方法中遇到，例如[8，14，35]中详述的那些方法，其中MC算法以各种方式扩展，以在网格拐角处将符号并入UDF中。此外，在下游任务中，如3D对象分类和部件分割（参见[15，27，28，38]），形状通常由1024个表面点表示。隐式表示和重建的表面点在这个规模需要大网格的MC算法，进一步放大了插值误差。

本文提出了一种基于无符号正交距离场的近红外光谱分析方法。与传统的SDF和UDF相比，UODF最大的区别在于它定义了三维空间中沿着三个正交方向到形状曲面的最小距离。这意味着UODF中的每个点都可以直接访问它沿沿着三个正交方向的最近曲面点（如果存在）。图1（a）描绘了基于SDF（或UDF）和UODF的NIR如何在表面点重建中工作。所有预测的距离值由..DF(s)^..\widehat{DF(s)}.神经网络的拟合误差会影响网格角点处的DF（s）。然而，与SDF或UDF相比，UODF的GEP估计不会引入插值误差。相反，可以通过对每个GEP的多个预测进行平均来减轻拟合误差。因此，基于UODF的NIR自然地利用针对不同3D形状的准确重建，其中三个在图1（B）中示出。

图1.基于无符号正交距离场（UODF）的近红外研究综述。与在表面点重建中遭受插值误差的基于SDF或UDF的NIR不同，UODF直接估计表面点并通过对每个GEP的预测求平均来减轻拟合误差。上面的放大网格说明了传统方法中的不准确性，其中中间网格边缘点（紫色）是用两个网格角的距离值（由两个虚线圆表示）近似估计的。这个估计的GEP距离它的真实位置（红色）很远，它的真实位置是由我们的UODF值（两个红色箭头）联合预测的，如下面的放大网格所示。

本文的主要贡献如下：

  • 提出了基于UODF的近红外，它允许以统一的方式表示和重建不同的3D形状（如封闭，非封闭，多层或组装模型）。
  • 基于UODF的NIR使得能够从沿沿着三个正交方向的多个远距离采样点直接估计表面点，从而促进网格边缘点的无插值重建。
  • 基于UODF的NIR在重建精度方面明显优于传统的SDF或基于UDF的NIR，特别是对于开放形状或重建小点云时。

2 相关工作

本文的重点在于3D形状的神经距离场表示，可以大致分为三类进行审查：SDF基于近红外，基于UDF的近红外，和其他类型的神经距离场。

2.1 SDF based Neural Implicit Representation

符号距离场（SDF）是神经隐式表征领域的一种常用方法，它将三维形状隐式表示为空间位置的零水平集。许多方法，包括但不限于DeepSDF [26]，IGR [13]，SAL [1]，FFN [31]，SIREN [29]，NI [12]和GC [3]，通常使用多层感知器（MLP）网络来全局拟合3D形状的SDF。另一种方法采用局部拟合策略，旨在学习更精细的形状细节，例如OctField [32]，DeepLS [6]，NGLOD [30]和Instant-NGP [24]。传统的移动立方体（MC）算法用于提取SDF的零等值面，从而能够同时计算网格边缘点和网格划分。此外，SDF还用于隐式表示新视图合成任务中的几何形状，例如NeuS [36]，MonoSDF [41]和VOXURF [39]。这些基于SDF的方法具有局限性，即它们只能表示封闭的模型。

2.2 UDF based Neural Implicit Representation

提出了基于无符号距离场（UDF）的神经隐式方法来表示任意形状，例如NDF [10]，CSP [34]，GIFS [40]，DeepCurrents [25]，3 PSDF [8]，NDC [9]，MeshUDF [14]和HSDF [35]。在新视图合成的背景下，也存在从多视图图像学习UDF的工作，例如NeUDF [20]和Neural UDF [21]。虽然所有这些方法都代表开放的形状，但预测和网格化过程具有独特的区别。例如，NDF首先从预测的UDF中获得离散点，然后采用球旋转算法[4]（BPA）来完成网格化; NeUDF遵循类似的过程，但使用SPSR [18]来网格化表面点。MeshUDF使用UDF渐变对栅格角点的符号进行分类，这与同时预测栅格角点的符号和UDF值的HSDF不同。这两种方法都扩展了MC [23]，用于从UDF重建表面点和网格，因此受到神经网络拟合误差和相邻角点插值误差的影响，如图1所示。

2.3 其他类型的距离场

传统的距离场表示，称为有向距离场（DDFs）[19]，于2001年提出，以更好地提取尖锐边缘上的表面点。DDFs显式计算和用于后续的轮廓重建通过扩展MC算法。虽然我们提出的基于UODF的NIR在距离场定义方面与DDFs相关，但我们研究的重点涉及使用神经网络拟合UODF和重建GEP，这将我们的工作与[19]区分开来。存在一些研究用于3D形状表示的沿沿着任意方向的深距离场的工作[2，17]。虽然这些方法在重建表面点方面表现出灵活性，但精度与基于SDF或UDF的NIR所达到的水平不匹配。

DDFs (Deep Distance Fields) 是一种通过深度学习模型来表示和处理距离场的技术。神经网络通过学习一组训练数据（通常是带标签的 3D 模型），来生成一个函数，该函数可以对任意点输出该点到目标物体的距离。

GEP :“Grid edge points” 通常指的是网格（grid）中位于边缘的点。这些点位于网格的边界上，而不是在内部。它们在计算、模拟和可视化等领域中起着重要作用。

Method

3.1 Definition of UODFs

点的无符号正交距离定义为从该点到形状曲面沿沿着一个正交方向的最近距离。术语“unsigned”意味着距离值永远不会为负，并且形状的内部和外部之间没有区别。在3D空间中，存在三个正交方向，分别由“左右（LR）”、“前后（FB）”和“上下（UD）”表示。

因此，UODF将每个形状描绘为沿着这些正交方向的三个距离场的组合，分别由UODFLRUODF_{LR}、UODFFBUODF_{FB}和UODFUDUODF_{UD}表示。UODF的地面真值可以通过沿三个正交方向沿着的射线穿刺来计算。

对于归一化模型A，其表面由S表示。UODFs被限制在归一化立方体空间R(R∈[−1, 1]3).用射线（p，X）（X∈{LR，FB，UD}）表示沿沿着一个正交方向X与点p相交的射线。子集D（p，X）表示曲面S与射线ray（p，X）的所有交点。p的UODFs表示为：

UODFs(p)=UODFLR(p),UODFFB(p),UODFUD(p)UODFs(p) = {UODF_{LR}(p),UODF_{FB}(p),UODF_{UD}(p)}

其中，点的每个UODF定义为

3.2 UODF的特点

UODF具有几个显著区别于SDF或UDF的特征。

图2.UODF示意图。为了理解三个正交分量、1D导数和相邻UODF射线之间可能的不连续性，请参考第3.2.

特点1.UODF由三个沿着正交方向的无符号距离场组成。在正交方向上的任何射线对应于1D无符号距离场。因此，UODFX可以被看作是正交方向X上的所有平行射线的1D无符号距离场的集合。图2描绘了一个点的三条正交射线（红色、绿色和蓝色）、它们与该形状的交点（每条射线对应两个表面点）以及它们的1D无符号距离场。这里，射线和采样点（空心圆）位于网格角上，这将在第1.2节中详细说明。3.4与3.5.

特点2.对于每个点，每个UODF的1D导数的绝对值等于1。图2还表明，表面点一侧等间距点的UODF值形成了一个算术序列。1D UODF图中的每条线段的角度为±45度。该特性可用于减轻来自多个样本点的UODF预测的表面点的估计误差。

图3.一个切片从3D模型“龙”的UODFUD。当与曲面的相交发生变化时，相邻“UD”射线之间会出现不连续性。灰度区域表示在地面实况计算和我们的预测中未定义的UODFUD。

特点3.UDFX可能会显示相邻平行光线之间的不连续性，这将其与处处连续的SDF或UDF区分开来。图3描绘了来自3D模型“Dragon”的UODFUD切片。很明显，相邻射线上的两个相邻点的UODFUD值可以有很大的不同。这种独特的特性反映了在激光传感器中观察到的行为，并有助于直接和准确地预测精细细节。

综上所述，UODF的这三个特性有利于表面点的精确估计，特别是对于各种复杂形状或小的点云。由于每个UODF都是在平行光线上定义的，因此未被遮挡的外部区域中的UODF基本上等同于从单位立方体的六个面捕获的深度图。然而，UODF还以统一的方式管理3D模型的外部和内部区域。

3.3 网络体系结构和处理流程

图4.网络体系结构和处理管道。使用UODF和掩码网络单独回归每个UODF。该算法首先利用一个正交方向上的网格边缘点的UODF估计出该方向上的网格边缘点，然后进行点融合，得到最终的重建结果。

图4描述了所提出的网络体系结构和处理流水线。在每个正交平面上定义平行光线。对于一个空间点，它在一个正交平面上的2D坐标被用来通过位置编码（“P.E.”）提取42维特征。模块）。.该射线特征与3D坐标相结合，形成用于多层感知器（MLP）网络的45维输入，以在该正交方向上回归UODF。同时，为了避免回归方程中未定义的不相交射线的UODF。在图2中，利用射线特征在该正交平面上回归2D掩模（参见每个轮廓中的区域）。随后，可以根据与形状相交的射线来估计在该正交方向上的表面点，这在第3.5.

在每个正交方向上回归UODF和掩码的网络分别是10 × 256 MLP和3 × 256 MLP。监督遮罩值设置为“0”和“1”，分别表示轮廓的外部和内部。UODFX的损失函数由三个分量损失项组成：

3.4 推理和训练过程中的抽样

采样过程包括两个步骤：在正交平面上的射线采样和沿沿着射线的点采样。在推理过程中，射线和点采样都被离散化。为了与MC [23]和MeshUDF [14]进行比较，在我们的实验中，射线和点在网格拐角处以相等的间隔进行采样。然而，UODF也便于分别用于射线和点采样的任意2D和1D图案。在训练过程中，由于相邻射线之间可能的不连续性，在第3节中被分析为“特征3”。3.2，射线采样保持离散。我们以257*257的分辨率在三个正交平面上对每条射线进行密集采样。对于沿沿着射线采样的点，我们每10个历元均匀地采样256个点。这适应了1D UODF沿着每条射线的连续性质，允许射线上的任何给定点准确地预测其最近的曲面点。

3.5 每条射线的表面点估计

虽然在推断中沿沿着射线采样的点对于UODF可能是随机的，但是我们以与MC的分辨率对齐的相等间隔采样点。随后，从这些等间隔的样本点估计沿沿着每条射线的表面点。图5示出了如何估计沿着射线的表面点。标记为“A”、“B”和“C”的三个交点由沿着该射线的实心圆沿着表示。图的下半部分描绘了沿着该射线的1D UODF，其中采样了九个等距点（空心）。与SDF或UDF不同，每个采样点直接预测其最近的曲面点。因此，我们的基于UODF的NIR可以潜在地从表现出一致梯度的几个样本点估计表面点。例如，该射线上的九个样本点被划分为四个段，每个段通过对该段内所有样本点的预测进行平均来估计一个表面点。线段“S1”和“S2”都估计表面点“A”。如果两个估计点之间的距离小于阈值τ（在我们的实验中τ=1/512），则这两个估计点将平均合并为一个新的估计点。对于段“S3”和“S4”，如果它们的估计点之间的距离大于τ，则重构表面点“B”和“C”两者，尽管它们在相同的网格边缘上。当两个封闭模型靠近在一起或薄板模型由两个平面表示时，会出现这种现象。然而，MC算法仅限于估计每个网格边缘上的最多一个交点，并伴随着插值误差的引入。相比之下，我们基于UODF的估计可以重建一个网格边缘上的两个交点，并平滑多个样本点的预测，受网络拟合误差的影响。尽管UODF中的表面点估计利用了来自射线上的样本点的距离值，但它与另一种适用于SDF和UDF的点估计技术（称为球体跟踪）完全不同[16]。球体跟踪采用保守的策略，只允许光线按照与当前位置的无符号距离步进。相反，UODF中的一个点直接预测正交方向上的最近点，与光线跟踪方案无关。

在估计三个正交边缘中的表面点之后，进行融合操作以导出最终的GEP，如图4所示。具体地，如果在至少3个相邻边缘上存在估计点，则保留那些点。否则，它们将被删除。该策略类似于MC，并且允许对孤立点进行有效过滤。

4 实验

4.1 数据集与数据库

数据集。使用来自各种数据集的50多个模型来验证各种形状的重建精度。具体来说，Thingi 10 K [42]中有36个形状，其中包括NI [12]和NGLOD [30]中使用的Thingi 32子集中的32个形状。其他形状来自斯坦福大学3D扫描库[11]、ShapeNet [7]、MGN数据集[5]和我们自己的自生成。指标.网格边缘点（GEP）的重构精度由L2倒角距离（CD）来评价，简称为“GEP-CD”。对于网格，测量了100，000个均匀分布点的L2 CD和正态一致性（NC），分别缩写为“网格-CD”和“网格-NC”。为了进行公平比较，除了第1.2节中所示的具有多个网格分辨率的实验外，所有从测试的NIR方法重建的网格均采用2573个网格角的预测距离值。4.6.

4.2 Reconstruction ofWatertight Shapes

4.3 Reconstruction of Non-watertight Shapes

4.4 Reconstruction of Complex Shapes

4.5. Ablation of Loss Function

4.6. Reconstruction at Multi-resolution Grids

4.7. Discussion and Limitation

补充材料中提供了其他实验结果，其中基于UODF的NIR继续表现出卓越的重建性能。这一成就可归因于下文讨论的几个关键因素：

1)每个UODF都具有与平面激光器类似的工作机制，能够精确测量沿沿着方向到最近表面点的距离。值得注意的是，UODF进一步在封闭或内部区域内工作。

2)我们验证了MLP网络可以很好地拟合不连续的UODF。这一发现挑战了传统的信念，即只有连续的字段（例如，SDF）适用于神经网络拟合。

3)一个正交方向上的GEP无插值估计以及三个方向上的点的融合对任何测试模型都具有鲁棒性。如果需要网格，采用掩蔽SPSR也执行鲁棒性。

2)我们验证了MLP网络可以很好地拟合不连续的UODF。这一发现挑战了传统的信念，即只有连续的字段（例如，SDF）适用于神经网络拟合。

3)在一个正交方向上的GEP的无插值估计，以及跨三个方向的点的融合，对任何测试的模型都是鲁棒的。如果需要网格，采用掩蔽SPSR也执行鲁棒性。UODF的一个显著限制是需要三个神经网络，每个神经网络需要拟合一个UODF。这一要求导致目前神经网络中的参数数量相对较多。虽然在不同方向上的距离场之间已经观察到一定的相关性，但是在一个神经网络内拟合三个场的前景是未来探索的感兴趣的领域。

5. 总结

在本文中，我们提出了基于无符号正交距离场（UODF）的近红外光谱，用于准确重建各种3D形状。UODF在其独特的特性方面不同于传统的SDF和UDF，这些特性包括跨三个正交方向组合每个UODF，直接从远距离采样点估计表面点，以及表现出射线之间的不连续性。因此，特定的神经网络需要UODF回归，沿着的表面点重建的后处理方法。在50多种不同形状上的彻底实验验证了UODF以统一的重建方式始终优于所有竞争对手。UODF甚至可以优于使用地面实况SDF或UDF输入数据的传统网格化方法。在未来，我们计划探索UODF的更多应用，例如形状的实时渲染。在单个神经网络中拟合UODF的可行性也值得研究

自己的总结

UODF本质上就是优化了插值的过程。