关于使用深度学习进行三维点云几何压缩

近年来，随着计算机软硬件的不断发展，计算机视觉和现实的增强使我们认为不会发生的事情发生了。我不得不说，技术正在改变我们的生活，给我们的生活带来更多的便利。 三维点云已广泛应用于计算机视觉、自动驾驶、增强现实、智能城市、虚拟现实等领域。高压缩比、低损耗的三维点云压缩方法是提高数据传输效率的关键。

因此，这里提出了一种基于深度学习的三维点云压缩方法，在细节重建方面优于其他网络。这使得它比现有技术具有更高的压缩比，同时保持可容忍的损失。它还支持它 GPU 并行压缩多个模型，大大提高了处理效率。

点云，简单来说就是一堆信息丰富的点，我们可以根据不同的应用场景知道不同的点云信息。 例如，由上面的云组成的椅子，简单地说，我们可以知道椅子的轮廓。通过点的颜色，我们可以知道点的获得椅子的其他属性。

体素是体积元素（Volume Pixel）简称是三维空间分割中数字数据的最小单位。

就像无线拉大图片一样，我们可以看到图片是由像素小方块组成的。 体素也是如此，就像著名的沙盒游戏一样 MineCraft 同样，世界上的许多建筑都是由 1x1 由小方块组成。 同像素一样，体素本身并不含有空间中位置的数据（即它们的坐标），然而却可以从它们相对于其他体素的位置来推敲。

为了提高机器学习的准确性，我们需要将输入的信息转换为有效的特征，这被称为表示(Representation)。

表示学习(Representation Learning)是一种能自动学习有效特征的算法，最终提高机器学习性能的学习。

损失函数是一种可以评估我们模型的函数。通过损失函数，我们可以看到深度学习中需要优化的部分，然后优化模型。

三维点云几何压缩只需要用深度学习来做两件事:点云表示学习以及点云数据压缩。点云说学习在这里起到了预处理的作用，预处理数据后可以更方便地压缩。

处理点云的点云的神经网络都是基于体素模型，将原始模型分为三维规则体素，就像把原始模型分为三维规则体素一样 MineCraft 中的建筑拆解成一个个方块，可以让我们更方便地处理体素模型。然而，将稀疏的点云数据转化为体素模型需要大量的时间和内存。其次，像图片一样，如果我们需要高分辨率的体素模型，我们需要更小的体素块，但机器的内存是有限的，这将极大地限制模型的分辨率。因此，要想办法平衡分辨率与时间、内存等因素的关系。

以下几点云表示学习方法：

① 由 Gernot 等人提出的 OctNet。试图减少计算和内存需求，将体素模型转化为不同叶节点大小的不平衡八叉树。这样可以将高分辨率模型表示为不同尺寸体素的组合，减少内存浪费，提高计算效率。

② Kd-Network 处理基于 kd-树的点云，复杂的减少空间度。也有作品将三维点云模型描述为多视图图像，但转换为图像集可能会破坏三维模型的空间特征。

③ PointNet 和 PointNet 直接处理已经开始 xyz 点云的格式。它们集中在点云分类和场景分割。

④Yao 等人 的FoldingNet。这可能是直接从无序的原始点云学习模型中表达的第一种方法。为了完成点云重构，他们修改了一种叫做折叠的新操作。这些代码是通过PointNet 提取类似的一维卷积。折叠操作是将特征与二维网格样本相结合，将二维网格折叠成三维模型。这种操作可以节省大量内存。在点云重建中，折叠操作是扩展维度的有效方法。然而，在生成过程中可能会忽略一些微妙的形状，因为它们很难从二维网格中转换，比如多孔结构。

存储这些点云数据会消耗大量内存，不利于传输。

举个不太合适的例子，如果你将来有一天开无人驾驶汽车，在驾驶过程中突然卡住无人驾驶系统，你将失去你的生命。

有些人可能会说，我们只需要不断地把内存堆积在车里，等等？但汽车的容量有限，这些设备的堆积意味着增加汽车的体积或减少其他部件的体积，汽车制造商也应该考虑成本下降。

因此，点云压缩对每个人都有好处尤为重要。

点云压缩主要包括三种类型：几何压缩、属性压缩和动态运动补偿压缩。 这里主要研究一下几何压缩。一般来说，体素模型的身体、表面、边缘和点的形状分布既不规则也不平衡，其他压缩技术难以适应其特性，以达到有效的压缩效果。几何压缩反映连接信息和几何信息，并将这些比特排列成比特数据流，然后通过数据压缩压缩比特数据流。

多尺度分层编码器，利用率提高。通过最远点采样(FPS)获取局部区域中心，即在静止点集中迭代，选择离所有采样点最远的点。局部区域特征提取中心采用一维卷积层和最大池化层。局部区域中心用于确定新的局部特征提取中心。

这些中心的坐标与局部特征相结合，形成新的特征，并提供给下一个局部特征提取层。最后，所有全连接层将被最大化池层最终的综合特征模型结合在一起。

点云重构压缩数据时，采用分层结构提高细节重构能力。

该结构由三个不同分辨率的输出层组成。第一个输出层的输出给了整个点云的基本框架，后一个输出层逐渐为框架添加了更多的细节。后一层的输出取决于前一层的输出。通过这种方法，我们可以得到原始点云数据的各种分辨率。

模型建成后，我们需要对模型进行一系列的评估，以判断模型的优缺点，就像我们的老师在考试后给我们打分一样。

为了清楚地显示网络的训练过程，证明文本中的编码器从点云中提取了有效的特征，实现了两个代码之间的差异，并根据差异结果重建了模型。

从上图可知，bpp较小时，文中的深度学习压缩算法可以达到比Draco 高 10 倍的压缩比，甚至比 PCL 高 110 倍，同时保持较小的重构损失。

但是 PCL和 Draco 更快，更节省内存，这是因为 PCL 和 Draco 都是基于 C 程序的，这比 Python 要高效得多。其次，文中作者使用 Tensorflow 来替换文中大部分的工作，这会大大增加深度学习压缩器的内存开销。因此，用 C程序简化网络模型，替换 Tensorflow 中的大部分操作，可以提高效率，减少内存负载。

文中的编码器是基于原始点云的局部特征提取。改变了局部特征提取的邻域大小会对训练结果产生很大的影响。研究了局部区域规模与重建质量之间的关系。

结果表明，局部特征提取的邻域大小对细节重建有很大影响。邻域大小过小不能包含足够多的点来描述局部特征，过大就会忽略了局部区域的细节，导致重建不准确。

通过不同的损耗函数来训练模型，可以看到 CD 和 RMS 可以保留模型的基本轮廓，但会导致重建不均匀。虽然 EMD 可以得到更均匀的结果，但它生成的图比较粗糙。多尺度RMS 和 多尺度CD 都可以实现精确、均匀的重建。

从下表可以看出，用 CD 训练的网络CD 和 RMS 损耗都较小，说明 CD 比 RMS 的约束更强。多尺度CD 和 多尺度RMS 也遵循着同样的规律。

综上，多尺度CD 是最佳的损耗函数，对网络进行精确、均匀的重构具有强大的训练能力。

这篇论文提出了一种新的深度学习自编码器处理来处理无序点云数据，与以往的无监督神经网络相比，具有更低的重构损失和更强的细节重构能力。

同时，作者设计了一种新的基于深度学习的稀疏点云几何压缩方法。它比现有的任何压缩方法都能达到更高的压缩比，且压缩损耗可接受。 它还提供了三种不同分辨率的输出，适合不同的场合。

毫无疑问，深度学习是数据压缩未来的发展方向！

• 3D Point Cloud Geometry Compression on Deep Learning
• Deep Learning for 3D Point Clouds: A Survey
• 人工智能之表示学习
• 干货 | 用深度学习设计图像视频压缩算法：更简洁、更强大
• On Visual Similarity Based 3D Model Retrieval