https://arxiv.org/pdf/2102.03725v2.pdf
由于不同的手部姿势和严重的遮挡，目前方法的结果缺乏准确性和保真度。
提出了一个I2UV-HandNet模型用于准确的手部姿势和形状估计，以及三维手部超分辨率重建。
具体来说，(1)提出了第一个基础UV三维手的形状表示；(2)设计AffineNet，输入预测从图像到图像的转换UV位置贴图；(3)使用额外的SRNet低分辨率的网络UV将贴图转换为高分辨率UV贴图。
三维手部姿态估计任务的目的是预测手部关节的三维位置。近年来，从深度图像或RGB据估计，三维手的姿势在图像中得到了很好的探索。由于三维关节标记难以直接从二维图像中获得，许多方法使用三维关节与二维投影之间的对应关系来提高三维姿势估计。在本文中，作者只使用输出的三维关节来帮助评估手电网建模的性能。
由于稀疏关键点对三维形状的表达方式有限，最近的工作将稀疏姿计与密集形状重建相结合，以提供更好的形状表达。该领域的方法可分为两类——是否使用先验模型。虽然参数模型带来了三维形状先验，但从RGB模型的参数打破了二维像素之间的空间关系。在这项工作中，作者提出了一个更通用的高保真手重建解决方案，输入低分辨率UV位置图，输出高分辨率UV位置图。
虽然三维形状通过参数模型或三维网格表示简单易监督，但也有其他工作提出以更密集的方式表示三维表面。引入UV表示法表示图像与曲面的对应关系，然后可以直接使用2D CNN学习图像到UV但是会出现坐标歧义的问题。作者将首次出现在本文中UV位置图引入手部重建任务，并提出了连接模块以减少坐标歧义的问题。
MANO它是一种从手扫描中学习的参数手模型。它定义了从姿势和形状参数到包含778个顶点和1538个表面的网格之间的映射，其中表面拓扑是固定的，以指示手曲面中顶点的连接。根据预定义的顶点索引，作者使用它MANO模型推断得到16个关节和5个指尖。
给定一个手的表面，比如MANO手网格时，表面可以展开成一个UV这样，三维表面就可以表示为图像。UV映射定义网格顶点和图像像素之间的对应关系，如下图所示。
在训练时，AffineNet直接从输入图像中输出UV位置图，而SRNet从UV另一种位置图输入输出UV位置图，最后通过上述定义UV映射，从UV三维手部网格模型在位置图中恢复。
预测手的形状UV输入图像通过编码器-解码器结构映射到位置图UV图像中。给定一个手在其范围内的彩色图像I，使用ResNet-50作为主网络，将图像编码成一系列具有不同分辨率的编码特征{Ei|i=1、2、3、4、5}。在扩展路径中，特征图和预测的每一步UV采样图纸，使用相应的编码特征图获得一系列解码特征{Di|i=0、1、2、3、4}和预测UV位置图{IiUV | i=一、二、三、四}
其中，Ei是在第一层编码的特征图，Ai它是通过仿射UV对齐特征，Di是特征图，Fup表示采样两倍，Fac表示仿射连接操作，fconv表示卷积层，π表示从UV图像坐标系的投影位置图。
由于3D手部表面由UV所以通过位置图表示，UV超分辨率在图像空间中获得更精细的手表面。作者提出了一个SRNet低分辨率的未来UV位置转移到高分辨率图中。SRNet类似于超分辨率卷积神经网络的网络结构(SRCNN)，但是输入和输出是UV位置映射，而不是RGB图像。通过SRNet回归高分辨率UV位置图后，可重建保真度高的手网模型。
为了学习AffineNet，使用三种对齐损失，即UV对齐EUV、UV梯度对齐Egrad和网格对齐Everts：
UV对齐：作者提出了基于现实的建议UV位置图I?UV和输出UV位置图IUV之间L1距离对齐损失EUV：
UV梯度对齐：理想的手部表面应该是连续的，UV位置图也应该是连续的。为此，作者介绍了一种UV梯度对齐鼓励预测UV位置图和真实UV位置图共享相同的梯度：
网格对齐：除了在2D UV在位置图空间中计算形状重建EUV和Egrad此外，作者还引入了网格对齐损失Everts，3.强制预测D手网与真实网格对齐：
SRNet的输出是UV位置图，它与AffineNet输出相似，只是SRNet具有更高分辨率的能力UV在这里，作者采用了类似的损失函数：
将EUV替换中间组件SRNet用相应的组件来表示EUV—SR，Everts—SR同样的方样的方式。
在FreiHAND比较测试集的主要结果
在HO3D比较试验机上的主要结果
作者也是我们特邀嘉宾：
本文仅进行学术分享。如有侵权行为，请联系删除。
1.自动驾驶领域的多传感器数据集成技术
2.自动驾驶领域3D点云目标检测全栈学习路线！(单模态 多模态/数据 代码)3.彻底了解视觉三维重建：原理分析、代码解释、优化和改进4.中国第一门面向工业级实战的点云处理课程5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码解释6.彻底理解视觉-惯性-惯性SLAM：基于VINS-Fusion正式开课啦7.彻底了解基础LOAM框架的3D激光SLAM: 从源代码分析到算法优化8.室内外激光彻底分析SLAM关键算法原理、代码和实战(cartographer LOAM LIO-SAM)
9.从零开始建造一套结构光3D重建系统[理论 源码 实践]
10.单目深度估计方法:算法梳理和代码实现
11.在自动驾驶中部署深度学习模型
12.相机模型及标定(单目) 双目 鱼眼）
13.重磅！四旋翼飞机：算法与实战
扫码添加小助手微信，可
label>同时也可申请加入我们的细分方向交流群，目前主要有、、、、、等微信群。
一定要备注：，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。也请联系。
▲长按加微信群或投稿
▲长按关注公众号
：针对3D视觉领域的五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题