上一期《计算机视觉团队》与您分享了相关的人脸检测、识别和验证背景以及现状的发展。今天，我们将继续讨论人脸领域的一些相关技术和新框架的人脸检测和识别系统。
多任务学习是同时处理问题的多个部分，通常使用相同的特性。MTL（Multi-Task Learning）背后的想法是，不同的任务可以相互受益。第一次使用MTL框架，并由Caruana[R. Caruana, “Multitask learning,” in Learning to learn. Springer, 1998,pp. 95–133]分析。朱等人[X. Zhu and D. Ramanan, “Face detection, pose estimation, and landmark localization in the wild,” in IEEE Conference on Computer Visionand Pattern Recognition, June 2012, pp. 2879–2886]同时提出了人脸检测、关键点定位和头部姿势估计的多任务方法。MTL利用来自不同监督来源的信息来提高所涉及任务的性能。例如，JointCascade[D. Chen, S. Ren, Y. Wei, X. Cao, and J. Sun, “Joint cascade facedetection and alignment,” in European Conference on Computer Vision,D. Fleet, T. Pajdla, B. Schiele, and T. Tuytelaars, Eds., 2014, vol. 8694,pp. 109–122]通过在训练期间在人脸检测中添加关键点定位来提高人脸检测性能。
但由于上述方法采用了人工制作的特点，很难将这些方法扩展到新的任务中。不同的任务需要不同类型的人工特性。例如，人脸检测通常使用直方图面向定向的梯度(HOG)，局部二进制模式通常用于人脸识别(LBP)。很难实现人脸检测和识别。然而，从DCNNs获得的特征可以编码各种性质和可视数据。与手工设计的特点相反，单个任务可以完成多个任务DCNN训练作为人脸检测、关键定位、属性预测、年龄估计、人脸识别等。共享深度特征有助于挖掘不同任务之间的关系。使用MTL可视为额外的正则化CNN。
HyperFace[R. Ranjan, V. Patel, and R. Chellappa, “Hyperface: A deep multitask learning framework for face detection, landmark localization, poseestimation, and gender recognition,”IEEE Transactions on PatternAnalysis and Machine Intelligence, 人脸分析是第一种多任务方法之一。设计用于人脸检测、关键定位、头部姿势估计和性别分类。该设计用于同时进行人脸检测、关键定位、头部姿势估计和性别分类。CNN语义的下层共享位置来自于高层的丰富特征，利用各种任务之间的协同作用来产生特定的特征，这有助于提高每个任务的性能。同样，TCDCN[Z. Zhang, P. Luo, C. Loy, and X. Tang, “Facial landmark detection bydeep multi-task learning,” in European Conference on Computer Vision,2014, pp. 94–108]增加了头部偏向估计、性别识别、微笑和眼镜检测到关键点定位的任务。这些辅助任务提高了关键定位。这些辅助任务提高了关键定位。All-in-One Face扩展网络扩展人脸数据，通过添加更多的任务和训练。
先进的人脸验证和识别
下图总结了新框架装配线。接下来，我们首先介绍了提出的内容DPSSD人脸检测器。然后简要总结了单独使用人脸对齐的方法。MTL方法。最后描述了提取身份特征并用于人脸识别和验证的方法。
新框架提出了新的基础DCNN人脸检测器称为深金字塔单镜头人脸检测器(DPSSD)，速度快，可以检测各种尺度的人脸。它特别擅长检测小脸。由于人脸检测是目标检测的一种特殊情况，许多研究人员使用现成的目标检测器进行微调[H. Jiang and E. Learned-Miller, “Face detection with the faster r-cnn,”arXiv preprint arXiv:1606.03473, 2016]。但是，为了设计有效的人脸检测器，必须解决人脸与目标检测任务异必须得到解决。
首先，人脸的一般目标比图像中的比例/尺寸要低。通常情况下，目标检测器不会被设计分辨率人脸检测，用于检测任务所需的低分辨率。第二，人脸的纵横比的变化是与在典型物体中的物体相比要少得多。与目标相比，风险较小，结构变形不需要包含在目标检测算法中的任何额外处理来处理多个纵横比。新框架设计的人脸检测器解决这些问题。
从在truncated vgg-16[K. Simonyan and A. Zisserman, “Very deep convolutional networks forlarge-scale image recognition,” arXiv preprint arXiv:1409.1556, 2014年，单镜头检测器在培训(SSD)[W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C.-Y. Fu, and A. C.Berg, “Ssd: Single shot multibox detector,” in European Conference onComputer Vision(ECCV), 2016, pp. 21–37]开始，以完成目标检测的任务。SSD具有优于其他目标的速度优势像Faster R-CNN这样的探测器，因为它是单级的并且不使用候选。SSD附加的卷积层被添加到VGG-16的末端以检测多个目标尺度。从多个特征层检测对象对每个层使用不同的卷积模型。修改了SSD体系结构和方法能够有效地检测微小的人脸。下图显示总体拟建的DPSSD人脸探测器的结构。
候选的人脸识别和验证系统使用的系统用于关键点定位。All-in-OneFaces是一个最近的方法，该方法同时执行人脸检测、关键点定位、头部姿势估计、微笑和性别分类、年龄估计的任务人脸识别和验证。该模型是联合训练的在MTL框架中，为所有这些任务建立起协同作用，这有助于提高各个任务的性能。
由于缺少包含注释的单个数据集对于每个任务，通过不同的子网络来训练不同的子网络。这些子网在它们之间共享参数，这确保共享参数适用于所有任务。这些子网络被融合到单个中。
上表给出了一些细节，用于训练All-in-One Face CNN的数据集。完成使用任务特定的损失对网络进行端到端训练。下图显示了All-in-One Face的一些代表性输出CNN。
All-in-One Face网络架构使用预训练验证网络Sankararanayanan[25]，包含七个卷积层，之后是三个全连接层。该网络被用作人脸部进行训练的主干识别任务。来自前6个卷积的参数此网络的层在其他面相关中共享任务如下图所示。针对人脸识别任务的CNN预训练提供了对通用人脸分析任务的更好的初始化，因为过滤器保留了区别人脸信息。
实验结果
在WIDER Face数据集上的结果
在UFDD数据集上的性能评估
在FDDB数据集上的性能评估结果
在Pascal faces数据集上的结果
END
http://ankan.umiacs.io/projects.html
我们开创一段时间的“”知识星球，也得到很多同学的认可，我们定时会推送实践型内容与大家分享，在星球里的同学可以随时提问，随时提需求，我们都会及时给予回复及给出对应的答复。