DefTet
| 阿里云国内75折 回扣 微信号：monov8 |
| 阿里云国际，腾讯云国际，低至75折。AWS 93折 免费开户实名账号 代冲值 优惠多多 微信号：monov8 飞机：@monov6 |
简介
DMTet论文借鉴了DefTet(Deformable Tetrahedral Meshes)的思路使用可变性的四面体网格来编码SDF。DefTet可以从点云噪声重建3D mesh物体表面也是第一个能从单张图片恢复物体mesh的工作。
使用神经网络的3D重建工作通常是以下几种点云、体素、mesh、隐式表达(比如SDF) 它们各有优劣
- 体素可以表达各种拓扑结构并且能使用CNN来完成。但是在高清晰度的重建工作中体素需要高分辨率的网格这会消耗更多内存。它还需要多层结构比如八叉树想要在此之上实现基于深度学习的方法是很麻烦的因为这种结构不连续的其结构会随着树的占有情况变化而变化。
- 基于隐式函数和点云的做法虽然不需要事先施加预定的分辨率但是
- 它们生成的结果需要进一步加工为mesh才可被下游使用。
- 基于表面的正则化1相对容易添加到基于mesh表达的方法但并不容易被添加到这些方法中因为物体表面是被隐式定义的。
- 基于mesh表达的方法可以直接生成mesh物体已经能生成高质量的结果。但是这种方法通常需要预定义mesh所属的类型比如曲面。这限制了这种方法能处理的物体类型2。
四面体网格是图形学中表示三维物体的主要方法之一特别是广泛用于物理学模拟。与体素类似四面体网格不仅模拟表面而且使用由四个三角形组成的三维单纯形3四面体作为基本单位来模拟形状的整个内部。在这项工作中我们提出利用四面体网格进行重建问题使其适合深度学习。我们的表示是一个完全细分成四面体的立方体其中三维形状是容积性的嵌入四面体网格中。网格中顶点的数量和它们的相邻性是固定的与网络的输出大小成比例。然而顶点的位置和每个四面体的二进制占用情况是动态的。这使得网格可以变形以更准确地适应对象几何体而不是相应的体素表示。我们将这种数据结构命名为可变形四面体网格DEFTET。给定典型的重建损失函数我们展示如何向顶点位置以及四面体占用情况传播梯度。
DEFTET 有许多优点
- 可以输出任意拓扑结构的形状通过四面体的占据情况区分物体内部和外部。
- DEFTET 还可以通过变形四面体里的三角形面来表示局部几何细节从而在更低的内存开销下实现高保真的重建。
- 此外我们的表示还具有计算效率因为它在推理时可以直接生成四面体网格不需要后处理。
- 我们的方法支持各种下游任务例如基于 2D/3D 监督下的单视图/多视图 3D 重建。
- 我们的结果是首次从嘈杂点云和图像直接生成四面体网格这在图形学中是一个非常困难的问题即对表面网格进行四面体化。
- 我们还展示了DEFTET在真实环境中作四面体网格化的应用即对给定的密闭表面进行四面体划分突出了我们方法的优势。。
“基于表面的正则化” 指的是对三维形状的表面进行修改以确保其具有某些理想的特性。这些特性可能包括光滑度、公平度或其他有助于使表面更具视觉吸引力或更容易处理的特性。例如可以使用基于表面的正则化来消除表面上的尖角或脊或使表面更均匀地弯曲。在三维形状表示的上下文中基于表面的正则化用于使三维形状更具视觉吸引力或帮助进一步处理形状例如渲染或操作。与前面描述的基于网格的表示中结合基于表面的正则化的挑战在于表面没有被明确定义这使得应用这些修改更加困难。 ↩︎
也就是说基于网格的表示方法只能处理一些特定类型的三维形状例如具有球体形状的物体。如果试图处理具有其他形状例如椭圆或多面体的对象可能会遇到一些技术上的困难。因此这种方法的适用范围受到限制。 ↩︎
“3D-simplex” 指的是三维单纯形是一种数学概念。单纯形是一种n维几何体由n+1个点组成这些点构成n维空间的一个封闭的凸包。在三维空间中三维单纯形是由四个点组成的构成一个四面体。因此3D-simplex 在这里指的是四面体四边形。 ↩︎