反欺诈模型的二分类监督主要存在两个问题： 首先，有不同程度的图像退化，即欺骗模式，将恶搞脸与活脸进行比较，包括皮肤细节丢失、颜色失真、莫尔图案、形状变形和欺骗伪影（如反射）。Softmax Loss的CNN可能会发现任何可以区分这两类的线索，如屏幕边框，但不会发现忠实的恶搞模式。当这些线索在测试过程中消失时，这些模型将无法区分Spoof Face和Live Face，导致泛化能力差，泛化能力差 其次，在测试过程中，在二元监督下学习的模型只会生成一个二元决策，而不会解释决策及其基本原理不知道具体使用了什么线索

作者回顾了前人的三项工作：1。基于纹理（texture-base）；2、基于时间（temporal-based）；3.远程光电体积描述（remote photoplethysmography）

基于纹理方法：对RGB手工制作的图像特征，如LBP、HoG、SIFT、SURF并采用传统的分类器SVM和LDA。也有将RGB转换为HSV和YCbCr色彩空间，或使用傅里叶谱作为输入信息来克服照明的影响。随着深度学习的兴起，许多工作都是基于CNN特征或CNN然而，这项工作的大多数人通过应用程序来处理人脸反欺骗问题softmax损失函数将人脸反欺骗视为一个简单的二分类问题，例如一些对ImageNet上的CaffeNet或VGG-face微调预训练模型，利用多尺度人脸和手工特征直接区分真假脸。《Face anti-spoofing using patch and depth-based CNNs》本文提出了基于纹理和深度的论文two-steam CNN-based anti-spoofing方法与我们的工作相似，与这篇论文相比，我们在很多方面都取得了进展，这其中包括rPPG、更精细的网络结构、新的非刚性配准层和综合实验支持我们

基于时间的方法：基于时间线索是面部反欺骗的最早解决方案之一，如眨眼检测，通过跟踪嘴唇和嘴唇的运动来检测面部表情。这些方法对典型的纸张攻击有效，但对回放攻击或切割眼睛/嘴的纸张攻击没有效果 还有一些工作依赖于更一般的时间特征，而不是特定的面部动作。帧连接是最常见的方法。许多基于特征的手工方法通过简单连接连续帧的特征来训练分类器，以提高内数据集测试的性能。此外，还有一些工作提出了特定时间的特，如Haralick特征、运动放大和光流。在深度学习时代，Fenget等人把光流图和剪切波图像特征CNN。Xue等人利用时间信息提出二值分类LSTM-CNN结构。一般来说，现有的人脸反欺骗方法仍然将人脸反欺骗视为二级问题，因此很难在跨库测试中得到很好的推广。在这项工作中，通过学习人脸视频rPPG提取可区分的时间信息信号

所提出的方法的主要思想是引导深层网络关注横贯空间和时间的已知欺骗模式，而不是提取任何能够区分两个类别却难以归纳的线索。如下图所示，所提出的网络以连贯的方式结合了CNN和RNN架构。CNN部分利用深度图监督来发现微妙的纹理属性，从而对真假脸的识别带来不同的深度。然后，它将估计的深度和特征映射喂入到新的非刚性配准层以创建对齐的特征图。RNN部分使用对齐的特征图和检查视频帧间变化的rPPG作为监督进行训练

使用人脸的深度图作为标签的方法比简单的0-1标签信息更丰富，因为它表明了活体人脸、打印和回放人脸之间的一个基本区别。将深度图用于深度损失函数来监督CNN部分，基于像素的深度损失函数将引导CNN学习从感受野内的面部区域到标记深度值得映射。对于活体面部，深度值在0-1。对于欺骗面部，深度值为0

rPPG信号提供了有关活体面部的时域信息，因为rPPG信号与面部的皮肤有关，随着时间的变化，面部的不同变化会带来不同的rPPG信号。这些强度变化与血液流动高度相关。提取rPPG信号的传统方法《Robust pulse rate from chrominance-based rPPG》具有三个缺点。首先，它对姿势和表情变化很敏感，因为跟踪特定的面部区域来测量强度变化变得更加困难。其次，它对照明的变化也很敏感，因为额外的照明会影响皮肤反射的光量。第三，出于反欺骗的目的，从欺骗视频中提取的rPPG信号可能无法与真实人脸视频信号充分区分开

作者所提出的方法是采用RNN网络来估计rPPG信号。这简化了具有PIE变化的面部视频的信号估计，并且由于为活体视频和欺骗性视频提供了不同的rPPG监控，因此它还会产生更具有区分性的rPPG信号

论文中假设在不同的PIE条件下同一受试者的视频具有相同的ground truth rPPG。因为对于短时间内（<5分钟）捕获的同一受试者的视频，心跳相似。从受约束的视频中提取的rPPG信号（即，没有PIE变化）用作rPPG损失函数中针对同一受试者的所有活体视频的“ground truth”监督。这种一致的监督有助于CNN和RNN部分对PIE变化具有鲁棒性

论文提出的网络由两个深层网络组成。首先，CNN部分分别评估每个帧，并估计每个帧的深度图和特征图。其次，递归神经网络（RNN）部分评估整个序列特征图上的时域变化

CNN部分采用FCN（Fully Convolutional Network，全卷积网络）结构。如上图所示，CNN部分含有多个blocks，每一个blocks包含三个卷积层，一个池化层，一个resizing（调整网络大小）层，每一个卷积层后面都跟有一个ELU层（exponential linear units，指数线性单元）层和BN（batch normalization，批归一化）层。然后，在每一个block后，resizing层将response maps（将响应图）调整到一个预定义的64x64大小并将response maps连接起来。与ResNet结构相似，旁路连接帮助网络利用不同深度blocks提取到的特征，CNN部分含有两个分支，一个用于估计深度图，一个用于估计特征图

CNN深度图估计分支采用256x256大小尺寸的输入图像，即 I ∈ R 256 × 256 I \in {R^{256 \times 256}} I∈R256×256，使用深度图作为监督，采用的公式如下： Θ D = arg ⁡ min ⁡ ∑ i = 1 N d ∥ CN N D ( I i ; Θ D ) − D i ∥ 1 2 {\Theta _D} = \arg \min \sum\limits_{i = 1}^{ {N_d}} {\left\| { {\text{CN}}{ {\text{N}}_D}({ {\rm I}_i};{\Theta _D}) - { {\text{D}}_i}} \right\|_1^2} ΘD​=argmini=1∑Nd​​∥CNND​(Ii​;ΘD​)−Di​∥12​ D i D_i Di​表示第 i i i张图的“ground truth”， I i I_i Ii​表示输入的第 i i i张图， Θ D {\Theta _D} ΘD​表示CNN的参数， N d N_d Nd​表示图片的数量。CNN特征图的输出则将被送入非刚性配准层

RNN部分的目的是估计具有 N f N_f Nf​帧输入序列 { I j } j = 1 N f \left\{ { { {\text{I}}_j}} \right\}_{j = 1}^{ {N_f}} { Ij​}j=1Nf​​的rPPG信号 f \text{f} f，仍然如上图网络结构所示。作者使用带有100个隐藏神经元的LSTM层、全连接层和FFT层。FFT层将全连接层的响应转换为傅里叶域。给定输入序列 { I j } j = 1 N f \left\{ { { {\text{I}}_j}} \right\}_{j = 1}^{ {N_f}} { Ij​}j=1Nf​​以及“ground truth” rPPG信号 f \text{f} f，通过训练RNN最小化估计的rPPG信号与“ground truth” f \text{f} f之间的 l 1 l_1 l1​距离 Θ R = arg ⁡ min ⁡ ∑ i = 1 N s ∥ RN N R ( [ { F j } j = 1 N f ] i ; Θ R ) − f i ∥ 1 2 {\Theta _R} = \arg \min \sum\limits_{i = 1}^{ {N_s}} {\left\| { {\text{RN}}{ {\text{N}}_R}({ {[\{ { {\text{F}}_j}\} _{j = 1}^{ {N_f}}]}_i};{\Theta _R}) - { {\text{f}}_i}} \right\|_1^2} ΘR​=argmini=1∑Ns​​∥∥∥​RNNR​([{ Fj​}j=1Nf​​]i​;ΘR​)−fi​∥∥∥​12​

Θ R {\Theta _R} ΘR​表示RNN参数， F j ∈ R 32 × 32 { {\text{F}}_j} \in { {\text{R}}^{32 \times 32}} Fj​∈R32×32是正面化的特征图， N s N_s Ns​是序列的数量， f i \text{f}_i fi​表示第 i i i帧的“ground truth”