点击上方“3D视觉车间，选择星标

第一时间送达干货

泡泡图灵智库作者

来源丨泡泡机器人SLAM

标题：Point-NeRF: Point-based Neural Radiance Fields

作者：Qiangeng Xu, Zexiang Xu, Julien Philip, Sai Bi, Zhixin Shu, Kalyan Sunkavalli, Ulrich Neumann

来源：CVPR2022

编译晗

审核：zhh

大家好，今天要介绍的文章是CVPR2022的Point-NeRF: Point-based Neural Radiance Fields

摘要:

NeRF系统的体积神经渲染方法会产生高质量的视图合成结果，但会优化每个场景，导致重建时间过长。另一方面，深度多视图三维方法（MVS）场景几何可以通过直接网络推理快速重建。 Point-NeRF 使用具有相关神经特征的神经3D 点云模拟辐射场，结合这两种方法的优点。 Point-NeRF 通过将场景表面附近的神经点特征聚合在基于光线的渲染管中，可以有效渲染。Point-NeRF 预训练的深度网络可以直接推断初始化，生成神经点云；这个点云可以微调超过 NeRF 视觉质量，训练时间快 30 倍。 Point-NeRF 可以与其他 3D 结合重建方法，通过新颖的剪枝和生长机制处理错误和异常值。 DTU、NeRF Synthetics 、ScanNet和 Tanks and Temples 数据集上的实验表明，Point-NeRF 超越现有方法，达到最先进的效果。

主要贡献:

• 将MVS方法和NeRF相结合，对点云的生成进行了加速。

• 点云的切割和生成算法加速了重建和渲染速度，同时也提高了点云的生成质量。

主要方法：

Point-NeRF的表示方式

NeRF神经辐射场的体积表示呈现三维模型，基于体积的辐射场进行了改造。对于一个点云P将其表示为P={(pi,fi,yi)∣i=1,...,N},向量包含局部场景信息的每个点云中的点和神经特征fi关联，用一个0到1之间的信心y描述这一点接近真实场景表面的程度。将其抽象到神经辐射场表示为：

在训练过程中使用MLP F处理每个相邻的神经点，预测着色位置X特征向量：

本质上，原始特征 fi 对 pi 周围的局部 3D 编码场景内容。 MLP 网络表示局部 3D 函数，函数在 x 输出特定的神经场景描述 fi,x，由其局部帧中的神经点建模。相对位置 x - p 网络对点平移的使用保持不变，以实现更好的泛化。

接下来使用inverse distance weighting来聚合特征fi,x：

然后用一个MLP， R从聚合特征回到给定视图方向d

利用密度回归MLP，T，并使用了反距离权重：

Point-NeRF的重建

生成基于点的初始辐射场：给出一组已知图像I1,...,IQ 和点云，我们的 Point-NeRF 通过优化随机初始化的每一个神经特征和渲染，可以表示 MLP 重建损失(类似) NeRF）。然而，这种纯粹的逐场景优化依赖于现有的点云，而且速度可能非常慢。因此，我们提出了一个神经生成模块，通过前馈神经网络预测包括点位置在内的所有神经点属性 pi 、神经特征 fi 和点置信度 γi ，以实现高效重建。网络的直接推断输出了良好的基于初始点的辐射场。然后可以微调初始字段以实现高质量渲染。在很短的时间内，渲染质量更好或与 NeRF 相当，后者需要更长的时间来优化。

获得点云后对MVSNet中的深度置信体进行了tri-Linearly 采样：

最后提取了2D CNN特征Gf，并构建了一个端到端的重建网络。

优化基于点的辐射场：这里使用可微分的ray marching来优化点特征fi和置信度 γi来提升辐射场。首先基于置信度对点进行裁剪来去除一些不必要的离群点。

裁剪后，本文还利用NeRF中的光纤着色位置xj来识别新的候选点，以此来完成点的生成。

主要结果：

如果你对本文感兴趣，请点击点击阅读原文下载完整文章。

本文仅做学术分享，如有侵权，请联系删文。

3D视觉工坊精品课程官网：3dcver.com

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进4.国内首个面向工业级实战的点云处理课程5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法：算法梳理与代码实现

11.自动驾驶中的深度学习模型部署实战

12.相机模型与标定(单目+双目+鱼眼）

13.重磅！四旋翼飞行器：算法与实战

14.ROS2从入门到精通：理论与实战

15.国内首个3D缺陷检测教程：理论、源码与实战

16.基于Open3D的点云处理入门与实战教程

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~