Pupil dynamics for iris liveness detection
本文的主要目的是提出一种基于瞳孔动力学的完整的眼活性检测方法。该方法可作为虹膜识别系统攻击检测的一部分，使其更安全。由于缺乏支持本研究的公共数据库，我们建立了自己的虹膜捕捉设备来记录可见光刺激下瞳孔大小的变化，并记录了26名受试者（52种不同虹膜）的204次观察，每组包含每40毫秒拍摄的750张虹膜图像。可见光强度突然增加后的自发瞳孔振荡及其反应记录在每次测量中。Kohn和Clynes瞳孔动力学模型用于描述这些变化；因此，我们将每个观察值转换为模型参数定义的特征空间。为了回答眼睛是活的（也就是说，如果它像眼睛一样对光的变化做出反应）或可疑（也就是说，如果它做出奇怪的反应或没有观察到反应），我们使用线性和非线性支持向量机对自然反应和自发振荡进行分类，并研究拟合优度以拒绝不良建模。我们的实验表明，这种方法可以实现我们收集的数据的完美性能：所有正常反应都与自发振荡正确区分。我们研究了模拟瞳孔反应所需的最短观察时间，发现不超过3秒就足以提供完美的性能。 十多年来，活性检测一直是国际生物识别安全讨论的重要组成部分。根据国际标准化组织/国际电工委员会，它涉及检测解剖特征或非自愿或自愿反应，以确定生物测量样本是否从捕获点的活体中捕获[1]。对任何生物传感器来说，检查活性的能力都很重要。即使是它的名字，生物识别，也是处理生物和真实生物特征的同义词，非生物制品。一旦生物传感器接受人工产品或非活体部件，部署传感器的整个系统就变得毫无意义。 活性检测是指对活体症状的检测，因此是针对任何更广泛的技术类别进行攻击的特例。国际标准化组织/国际电工委员会将展示攻击定义为以可能干扰生物识别捕获子系统预期策略的方式向生物识别捕获子系统展示人工产品或人体特征。这意味着任何颠覆行为(即意图颠覆生物识别系统)都应被检测为演示攻击。然而，攻击者的意图无法推断。因此，呈现攻击已经成为一个非常广泛的领域，包括呈现假对象、尸体部分、不协调或强迫呈现，甚至试图冒名顶替。这种未知的意图也通过将一些可疑的动作分类为潜在的呈现攻击，如疾病、疲劳或由于美容或健康原因的人工物体的呈现而引起错误的警报。这使得攻击的分类变得复杂，刺激了攻击检测的有效处理(进一步缩写为PAD)该领域正在进行科学讨论。 在这项工作中，我们专注于虹膜活性检测，即识别活性症状，以证明眼睛的真实性和受试者愿意被传感器记录。在可见光刺激下可见光刺激下，而不是眼睛或其组织的静态特征。当光强变化时，瞳孔会不由自主地做出反应，因此很难掩盖这一现象。如论文所示，瞳孔动力学并非微不足道，这使得很难模仿人造物体。在我们的测试中，我们决定不使用静态对象，如虹膜纸打印输出或图案隐形眼镜，因为在这种情况下，我们将确保成功（静态对象测量噪声，静态对象没有显著的动态，所以当动态是关键时，很容易识别）。相反，为了评估提出的方法性能，我们将自发瞳孔振荡(通常称为)hippus)可见光正浪涌的反应与正常瞳孔分类，使测试更加真实。据我们所知，这是唯一的一项采用瞳孔动力学进行活性检测的工作，并且是在动态真实物体上而不是静态伪影上进行评估的。 论文组织如下：第二部分简要总结了论文中使用的错误测量。第三部分引用和分类了过去最重要的虹膜识别PAD工作。第四部分描述了本研究收集的眼图像数据库。在第五部分，我们提供了数据预处理的理论背景和瞳孔动力学建模。第六节介绍了第七节讨论的实验结果。 生物识别中常见的错误是虚假拒绝和虚假接受。这是指错误地拒绝或接受声称的身份。理论上，我们可以简单地将声明从身份改为活动，并在活动测试的上下文中使用相同的术语。然而，该领域的国际讨论建议将区分与攻击检测相关的误差估计器和描述生物识别的误差估计器。因此，我们遵循最后一个国际标准化组织/国际电工委员会的建议[1]PAD系统性能水平： a) Attack Presentation Classification Error Rate : proportion of attack presentations that were incorrectly classified as authentic presentations. APCER：攻击样本被误分为真实样本的比例 b) Normal Presentation Classification Error Rate : proportion of authentic presentations incorrectly classified as attacks. NPCER：真实样本被误分为攻击样本的比例。 c) Equal Error Rate : the value of APCER and NPCER when they are equal (analogous to the recognition performance analysis which employs equality of false rejections and false acceptances in the definition of EER). 当APCER和NPCER当值相等时。(类似于EER在定义中使用错误拒绝和错误接受相等的识别性能分析)。 EER（平均错误概率）是一种生物识别安全系统算法，用于提前确定错误接受率和错误拒绝率的阈值。当速率相等时，公共值称为相等错误率。该值表明，错误接受的比例等于错误拒绝的比例。错误率越低，生物识别系统的准确性就越高。 III. PRESENTATION ATTACK DETECTION IN IRIS RECOGNITION: PAST WORK A. First demonstrations of vulnerabilities 自从Daugman15年来，虹膜识别系统首次被眼睛打印输出欺骗。三年后，因为Thalheim等人首次对商用虹膜识别系统进行了安全评估，这一想法得到了证实。在这些测试中，简单的虹膜打印输出被用来代替瞳孔。这一噱头使得在被测设备中实现虹膜检测方法成为可能。在虹膜编码(低频)和打印过程(高频)中使用的不相交频率范围的测试，使得打印伪像在虹膜特征提取过程中看不见。这使他们能够打印、显示和确认给定的虹膜。Thalheim等待他人的先锋研究激其他人对以前未经测试的额外硬件进行安全评估，并再次显示商业设备中缺乏有效的对策[4]和[5]。 B. Scientific papers 我们观察到了这些初步发现PAD随着该方法的不断发展，它的特点是观察眼睛时可以分析的信号的复杂性和类型。为了总结现有技术，我们介绍了四类型的测量和动态PAD方法：静态或动态物体的被动或主动测量。在下一段中，我们提供了每一类最突出的研究结果。 静态物体的被动测量。该方法采用静态图像，只能显示静态眼睛的特征。不执行额外的主动测量步骤。活性检测通常使用与识别中使用的图片相同的图片。这些方法仍然很有吸引力，因为即使以有限的可靠性为代价，虹膜捕获硬件也没有额外的投资。最早的想法来自道格曼[2]，他注意到彩虹膜的振幅谱包含假图案，这与真实眼睛获得的光滑谱相反。如何在振幅谱中自动找到这些假频率的第一个建议可能是由于Pacut和Czajka提出的[5]涉及后续调查[6]和[7]，最终报告了95%以上虹膜打印输出的正确识别（当没有错误拒绝活样本时）。 Wei等人[8]可能是第一批分析虹膜图像三个特征检测图案隐形眼镜的作者：图像清晰度，基于Gabor二阶虹膜区域的滤波和统计。作者报告了后两种方法的良好性能(相应地，正确识别率为98.3%和100%)，尽管承认他们高度依赖印刷隐形眼镜的图案类型。在推广这些结果时，应考虑使用少量(20个)人工虹膜。如何使用小波包分析计算径向基核？SVM(支持向量机)分类的活性特征。即使由于运动故意模糊，作者也报告了虹膜纸打印输出的正确识别。他等人用[10]AdaBoost基于学习选择最好的基础LBP(局部二进制模式)活性特征，高斯核密度估计用于推广AdaBoost分类器。作者报告了99.假货33%的正确识别率为2.64%的计算评估数据库收集了300个不同类型隐形眼镜的图像，包括一些打印输出和玻璃眼睛。张等人[11]使用LBP真实虹膜图像和图案隐形眼镜在特征空间内分类。作者报告了72名受试者佩戴的55种不同类型接触物的计算CCR=99.14%(正确分类率)，平均采用四种不同的捕获设备。这是一个有希望的交叉验证场景(训练和测试不同相机捕获的样本)CCR下降到88.05%。 这些有前途但单一的图像属性后来联合使用，形成基于图像质量的多维活动指标。Galbally在22个提出的简单虹膜几何或频率描述符中找到活性特征的最佳组合。虽然他们报告了对印刷输出和活眼的完美识别，但这可能是低质量的印刷输出所独有的，因为结果仅基于分割结果（与瞳孔半径比集成的屏蔽信息）。假样本如果在真实攻击中使用，我们应该期望它们能够导致正确的分割。然而，合并不同质量协变量的理念潜力很大，Galbally等人[13]后来用于检测99.75%的虹膜打印输出，同时错误地拒绝了4.2%的真眼睛。在检测不同攻击类型时，他们选择了25个互补的质量测量，可以实时有效地计算。这个方法还可以NPCER=3.4%时检测到99.合成虹膜2%。 主动测量静态物体。该方法实现了主动测量（除正常虹膜识别过程外），揭示了眼睛的一些结构特征，但不使用眼动力学。典型的例子是浦肯野反射的检测，即角膜和眼睛晶状体内外边界的照明。道格曼[2]最初的想法后来被李和其他人[14]详细解释。他们使用两个直接的近红外光源（除虹膜识别光源外）来生成和测量浦肯斑点。对30个人(包括10个戴眼镜和10个戴隐形眼镜的人)、10个纸打印件样本、2个打印隐形眼镜样本和2个3D眼睛模型样本的眼睛图像所做的实验导致有希望的EER=0.33%。应该注意的是，浦肯野反射的检测需要很高的图像清晰度，远远好于虹膜识别方法通常需要的清晰度。 Connell等人[15]利用了真实虹膜(低分辨率)大致平坦的事实，这与显示凸形的印刷隐形眼镜相反。因此，作者使用微型投影仪产生的结构光(在3D面部成像中很流行)来捕捉眼球前部的三维属性。这种方法只对一个对象拍摄的图像进行了测试，六个不同的隐形眼镜呈现出对假货的完美识别。 当放大虹膜来观察它的肌肉纤维时，我们最终会看到一个不再平坦的结构。当以更高的分辨率观察时，当被来自不同方向的光照射时，小梁产生阴影。当观察到平滑的仿制品(如纸张打印输出)时，这种阴影不应该出现，因此一些研究人员使用这种方法来区分平坦的伪像和粗糙的、活跃的虹膜肌肉。关于如何利用虹膜的三维来确定其真实性，我们知道的第一种方法来自Lee等人[16]。作者利用小波分解寻找SVM分类的三维活性特征。为60名志愿者(其中一些人戴着眼镜或隐形眼镜)收集的600个现场样本和为不同人工制品类型(打印输出、照片、带有隐形眼镜的打印输出、由硅或丙烯酸制成的人造图像以及图案化隐形眼镜)准备的600个假样本的报告EER=0.33%。Hughes等人[17]注意到，戴有图案的隐形眼镜会使观察到的虹膜图案更加凸起(即，位于镜片表面)，这与无遮挡的真实虹膜形成对比，真实虹膜的图案大致位于一个平面上。因此，他们将活性检测问题转化为对虹膜区域内观察到的表面形状进行分类的问题。作者在可见光下为4个人拍摄了虹膜的立体图像，并另外要求这四名志愿者中的两人在拍摄图像时戴上隐形眼镜(透明的和有图案的)。他们报告说，佩戴有图案的隐形眼镜的人可以完美识别未佩戴隐形眼镜的虹膜(或佩戴透明镜片时)。 Park等人[18]提出了一个有趣的解决方案，即使用几幅多光谱虹膜图像来代替典型应用的近红外单幅图像。作者使用了一种专门的可调晶体滤波器，提供从650纳米到1100纳米的高选择性(10纳米波段)照明。识别中使用的图像导致基于梯度的图像融合，并且如果图像是打印输出，则不呈现虹膜结构，这与提供有用虹膜特征的真实图像不同。作者声称表现完美，但测试只针对4只不同的眼睛。Lee等人[19]还利用了眼睛组织对多光谱光吸收的差异。作者首先计算虹膜-巩膜图像强度的比率(在预选的虹膜和巩膜小区域)。由于虹膜和巩膜根据照明光的波长具有不同的光吸收特性，所以当光波长改变时，该比率不同。事实上，人们可以通过计算两种不同发光波长(文中使用750纳米和850纳米)的比值来判断样品的真实性。作者展示了2800张真实虹膜图像、400张纸质打印输出图像和30张塑料眼睛图像的零APCER和小NPCER=0.28%。然而，不足为奇的是，这种方法错误地接受了40%的有色隐形眼镜，因为它们对本研究中应用的多光谱光是透明的。 动态物体的被动测量。在这个组中，我们检测被测对象的动态特性，但没有它的刺激。一个自然的例子是检测hippus，即自发的瞳孔大小振荡[2]。尽管使用hippus进行活性检测的想法已经存在多年，并且经常在论文中引用，但迄今为止很难找到可靠的实现。此外，Pacut等人(在观察他们自己的测量结果后)认为，hippus的可见性受个体的影响，因此当应用于更大的人群时，其可靠性可能会受到限制。Fabiola等人[20]展示了hippus的成功部署，但是是在用户认证的背景下，而不是在活性检测中。作者在分析50人的hippus时得出的EER=0.23%表明，瞳孔的自发运动可能表现出个体特征。当添加到虹膜生物特征模板中时，它们可以作为活性指示器。然而，这篇论文没有包括任何用假眼睛来证明这个假设的测试。如果虹膜图像也包含眼睑，可以采用自发的眨眼检测，这在面部识别和面部活性检测中很流行。据报道，眨眼识别的准确率很高(Cohn等人[21]声称10名志愿者的准确率为98%，潘等人[22]报告的20名受试者的准确率为88.8%)。然而，应该注意的是，自发眨眼每隔几秒钟就会发生一次；它们是不规则的，它们的频率取决于主题。因此，当虹膜捕获时间起重要作用时，检测受刺激的眨眼(而不是自发的)似乎是更合适的方法。 动态物体的主动测量。最后一组方法包括刺激物体和分析其动力学。人眼提供至少两种类型的动态特征:与整个眼球相关的特征和描述瞳孔大小的刺激变化。Komogortsev等人观察眼睛的水平扫视轨迹，以区分真实的眼球和机械复制品的模拟行为。这个刺激是一个跳跃点，必须有32名志愿者参与实验。当眼睛运动模型不为攻击者所知时，EER=5%最小，当眼动植物特征可用于模仿眼睛的扫视时，EER=20%由作者声明。一些研究人员利用了变化光照下的虹膜肌肉变形，如Kanematsu等人[23]，他们计算了预定义虹膜区域中光刺激后的虹膜图像亮度变化。他们报告了活虹膜的完美识别和一些纸打印输出。Puhan等人[24]计算了扩张和收缩虹膜的虹膜纹理差异，声称这些差异对于真眼来说应该很大，对于印刷隐形眼镜来说应该很小。这种说法虽然在原则上是正确的，但在论文中没有概念证明，因为作者只展示了两只真实眼睛的结果，而没有展示人工制品的结果。 科学文献经常提到使用液晶面板作为成功模仿眼睛动态的候选攻击，尽管到目前为止还不知道这种伪造的成功实现。虹膜采集设备通过近红外光照亮眼睛(根据国际标准化组织/IEC 29794-6的建议，典型的工作波长从700纳米开始，到900纳米结束)，并使用滤光器将光线切断在该范围之外。另一方面，液晶显示器旨在向用户呈现内容，因此必须在可见光(波长不超过700纳米)下工作。这导致虹膜识别摄像头对液晶显示器显示的内容“视而不见”。因此，这种流行的攻击想法对于现成的液晶显示器是不切实际的。我们不知道有哪种近红外光下的液晶显示器可以用来播放眼部图像。 应该注意的是，在上述研究中没有计算瞳孔动力学。尽管使用瞳孔动态特征进行活性检测的显而易见的想法已经存在多年，但是只有少量的研究给出了这个概念的证明以及足够的实验结果。Pacut等人[5]使用动态瞳孔反应模型和神经分类器，基于为29名志愿者收集的图像序列数据库和500多张纸伪影，完美地识别真实的眼睛和虹膜打印输出。同时，作者在波兰申请了一项专利[25]，该专利后来扩展到美国[26]。由于他们在研究中使用了虹膜打印输出，这可以通过更简单的方法来识别，因此该方法的潜力既没有得到重视，也没有被展示出来。Czajka扩展了这项研究，展示了这种方法如何识别眼睛的奇怪(或没有)反应[27]，本文对这些发现进行了全面的描述。 C. Supporting activities 除了科学努力之外，值得注意的是与虹膜活性检测相关的一些其他举措。克拉克森大学(美国)、圣母大学(美国)和华沙理工大学(波兰)在2013年组织了第一届国际虹膜活性竞赛[28]。这次比赛是之前三次活动比赛的后续，都是关于指纹生物识别的。比赛使用了纸质虹膜打印输出(共815张图片)和打印隐形眼镜(共2240张图片)。大约62%的隐形眼镜图像和25%的纸质打印图像已作为培训集提供给参与者，其余数据用于评估交付的方法。三所大学决定发送他们的算法。比赛结果展示了一些有趣的现象。首先，很明显，与纸张打印输出的识别相比，图案化隐形眼镜更难检测(纸张打印输出接受率为0.65%，而获胜方法获得的打印隐形眼镜平均接受率为9.32%)。第二，竞赛结果显示，大多数科学论文呈现的实验室结果(通常显示对假货和活体样本的完美或几乎完美的识别)与第三方评估报告的获胜解决方案的平均分类误差在10%的水平之间明显不一致。这些发现加强了独立评估的重要性。 人们也可能对TABULA RASA [29]感兴趣，这是一个专门致力于活性检测的欧洲项目。一些令人印象深刻的项目成果致力于虹膜识别，例如，已经引用的伪像检测中虹膜图像质量特征的部署[12]。生物识别研究所是生物识别脆弱性评估专家组[30]的发起者，该专家组是一个国际专家组，旨在提高对生物识别脆弱性评估重要性的认识，并交流与主题相关的经验。国际标准化组织/国际电工委员会JTC分会第37号(生物测定学)也即将发布一个单独的国际标准，完全致力于演示攻击检测。这些例子表明，生物特征识别中的活性检测并不是一个完全解决的问题，或者迄今为止获得的结果不能满足科学和工业的要求。 A. Collection stand 据我们所知，目前还没有公开的虹膜图像收藏来进行瞳孔动力学的研究。我们决定建造合适的测量设备，并收集我们自己的一组在近红外光下拍摄的眼部图像。收集架的核心是嵌入成像源DMK-4002-红外b/w相机的IrisCUBE相机[31]，该相机配备了索尼ICX249AL 1/2英寸电荷耦合器件夹层传感器，提高了红外灵敏度。场景由两个近红外光源(λ = 850 nm)照亮，这两个光源水平放置并与镜头等距。我们的设备采用近红外滤光器来阻挡波长低于800纳米的任何光线。IrisCUBE相机每秒可拍摄25幅虹膜图像，图像质量大大超过了与成像对象无关的ISO/IEC 19794-6和ISO/IEC 29794-6相关的最低建议。因为我们希望在整个实验中保证可重复的拍摄条件，所以我们将相机封装在一个大的阴影框中，并在其中放置受试者的眼睛用于获取图像。我们使用可见的发光二极管，嵌入相机外壳的前部，以帮助用户定位头部，作为可见光刺激。这种配置保证了受试者头部在每次尝试中的固定位置以及受试者头部和摄像机之间的稳定距离(大约30厘米)。它允许我们在完全黑暗的情况下(不考虑外部照明条件)以及在可见光阶跃刺激期间测量瞳孔的反应。然而，人们应该意识到，当在明亮的环境光下观察眼睛时，瞳孔反应可能不太明显(由于在施加刺激之前瞳孔收缩较大)。 B. Database statistics 我们收集了26名受试者的52个不同虹膜的图像。对于50个虹膜，我们拍摄了4部图像，对于一个人只拍摄了2部图像，总共拍摄了204部眼睛图像。每部图像持续30秒，呈现瞳孔大小的自发振荡(前15秒)和对光强阶跃增加的反应(后5秒)，以及对照明负阶跃变化的反应(后10秒)。由于我们每秒捕获25帧，数据库容量总计为204×30×25 = 153，000张虹膜图像，显示瞳孔扩张和收缩过程。图1给出了示例帧，并说明了可见发光二极管的开启和关闭时刻。 C. Representation of actual and odd pupil reactions 在所有致力于呈现攻击检测的研究中，我们在找到将我们的活性特征空间划分为两个子空间(真实和虚假)的分类函数方面有一个共同的困难。因为我们通常通过一些学习过程来构建这些分类器，所以我们需要代表这些类的样本。不幸的是，这让我们想到了一些特定于某些假物体的方法。泛化几乎是不可能的，因为我们无法预测造假者的幻想。尤其是在第三部分中总结的过去的工作。第三阶段致力于静态伪影的检测，通常是虹膜打印输出、隐形眼镜或义眼模型。先前将瞳孔动力学应用于演示攻击检测[5]，[26]，证明了完美的性能，也对纸张打印输出进行了评估，但在这种情况下，我们应该期待完美的性能，因为静态对象没有表现出动态。 在这项工作中，我们超越了这一限制，开发了一种方法，可以识别正确的瞳孔动态，并拒绝任何模仿真实瞳孔运动的行为，或者呈现一些奇怪的、意想不到的振荡。在这项研究中，我们决定只分析活着的眼睛，并将瞳孔的自发振荡视为对假设的(在这种情况下不存在的)光刺激的奇怪反应。这种方法完全符合我们在“活性”项下的理解，即检测被分析对象的重要症状。只有活的、真实的眼睛才能表现出人体器官特有的正确动态。如果在一个突然的可见光脉冲之后，我们只观察到希普斯，这可能表示我们观察到了一只没有生命的眼睛。为了根据我们的假设组织我们的数据，我们因此从数据库中的每一部眼睛图像中裁剪出两个五秒的子图像。第一个裁剪的子影片，代表奇怪的眼睛反应，在测量开始时开始，在测量的第五秒后结束。第二子图像开始于第十六秒(正好是眼睛被可见光刺激的时候)，结束于第二十秒(正好是可见光被关闭的时候)，见图1。这导致204部图像持续5秒并代表奇怪的反应，204部图像代表预期的瞳孔动态，也是5秒长。 我们应该意识到，在完全黑暗或非常明亮的环境光下观察到的瞳孔自发振荡，与在常规环境光下捕获的振荡相比，可能具有较低的振幅。后一种情况允许瞳孔在没有明显限制的情况下收缩和扩张，而完全黑暗或非常明亮的环境光导致瞳孔已经过度收缩或扩张，因此只允许其大小的有限变化。 A. Data pre-processing 1)瞳孔检测、分割及其大小的计算:瞳孔动态通过其大小的变化来表示。然而，瞳孔大小是一个不精确的一般尺寸，可以用各种方法计算。在这项工作中，我们决定使用其最常见的圆形近似——可能是不规则的——形状。这是有意为之的，因为三个因素:a)圆形分割的速度快，b)在已经部署的虹膜识别方法中圆形建模的共性，以及c)在描述动态时非圆形偏差的重要性。
图1：瞳孔大小(黑点)在光刺激下的单个实验中自动测量(蓝色实线)。请注意，由于眨眼(黑点偏离预期顺序)、闭眼(零坐标的红点表示没有检测到瞳孔)或分割过程的波动(显示为序列中的“噪声”)，真实对象的捕捉导致瞳孔大小的非理想序列。图解样本显示在顶部，并与序列的相应时刻相关联。 由于没有与虹膜位置相关的基本事实，我们在每一帧中独立地检测和定位瞳孔。虽然检测指的是瞳孔是否存在于框架内的陈述，但是定位传递其位置。为了定位瞳孔和虹膜之间的边界，我们应用了对方向图像进行操作的霍夫变换(估计传递梯度值及其方向的图像梯度)。我们参数化了变换，使其对暗圆形敏感，对其他暗圆形和亮圆形几乎没有反应，比如镜面反射。使用渐变和对圆形形状的敏感度使得这种方法令人惊讶地健壮，即使瞳孔50%被眼睑覆盖。因此，每个眼睛图像被转换成瞳孔半径的时间序列，图1。我们不使用不超过最小阈值的梯度值(根据我们采用的硬件设置进行实验设置)。如果没有超过阈值的单个梯度值，则该方法报告没有检测到瞳孔。后者实现瞳孔检测，有助于识别眼睛被眼睑完全遮盖的时间瞬间。 由于没有与虹膜位置相关的基本事实，我们在每一帧中独立地检测和定位瞳孔。虽然检测指的是瞳孔是否存在于框架内的陈述，但是定位传递其位置。为了定位瞳孔和虹膜之间的边界，我们应用了对方向图像进行操作的霍夫变换(估计传递梯度值及其方向的图像梯度)。我们参数化了变换，使其对暗圆形敏感，对其他暗圆形和亮圆形几乎没有反应，比如镜面反射。使用渐变和对圆形形状的敏感度使得这种方法令人惊讶地健壮，即使瞳孔50%被眼睑覆盖。因此，每个眼睛图像被转换成瞳孔半径的时间序列，图1。我们不使用不超过最小阈值的梯度值(根据我们采用的硬件设置进行实验设置)。如果没有超过阈值的单个梯度值，则该方法报告没有检测到瞳孔。后者实现瞳孔检测，有助于识别眼睛被眼睑完全遮盖的时间瞬间。 2)伪像去除:由于分割不准确，瞳孔半径的原始序列并不完美。一般来说，我们会遇到两种干扰:a)瞳孔检测错误(通常是由于眨眼完全遮住了眼睛)和b)瞳孔分割噪声(通常是由于眨眼时瞳孔被部分遮住，眼睛运动，离轴凝视，高度非圆形瞳孔形状导致的估计的瞳孔大小，或者仅仅是算法错误)。第一种错误由瞳孔检测过程识别。当对瞳孔动力学建模时，这些错误点可以容易地被忽略(在图1中标记为位于水平轴上的红点)。然而，当瞳孔半径与其相邻值相比明显发散时，分割误差只能在一定程度上被识别。瞳孔半径的这些突然收缩主要是由部分眨眼引起的，并且由于眨眼的速度相对于每秒25帧，它们通常占据几个(甚至是孤立的)值。因此，我们应用了中值滤波，其中一秒水平(即25帧)被应用为滑动窗口。 B. Modeling of pupil dynamics 光强波动产生明显的瞳孔收缩和扩张。Kohn和Clynes [32]注意到瞳孔反应的不对称性取决于闪光是正的(从暗到亮)还是负的，并提出了一个反应模型，该模型可以图形化地想象为复杂自变量s的双通道传递函数，如图2。
图2：瞳孔动力学模型部署在这项工作中，并从科恩和克莱因的原始提案[32]中导出。图表转载自[26]。 上通道由具有时间常数T1和T2的二阶惯性和以τ1为特征的滞后元件组成。它只对正面的光刺激模拟瞳孔的瞬态行为，这是由放置在滞后元件之后的非线性函数保证的，并且减少了负面刺激的通道响应。通道增益由Kr控制。反过来，下通道负责模拟瞳孔大小的长期和持续变化，并通过在负或正光刺激后设置新的瞳孔半径来回答。它包含一阶惯性(其速度由T3控制)和以τ2为特征的滞后元素。下部通道增益由Ki独立于上部通道控制。 计算拉普拉斯逆变换，我们可以很容易地获得模型响应y(t；φ),作为上和下通道响应之和，yupper(t；φ1)和y lower(t；φ2)，分别为:
是活性特征，即设置模型响应的七个参数的向量。因此，通过解决模型拟合问题，观察到的瞳孔动态(时间序列)被转换为七维活性特征空间中的单个点。 C. Searching for liveness features: fitting the model 通过求解以下形式的非线性最小二乘曲线拟合问题来识别每个眼睛图像的最佳模型参数bφ = [Kr，T1，T2，τ1，Ki，T3τ2]T:
其中φ是φ的一组可能值，y(t)是瞳孔大小的真实(观察到的)变化，乘以(t；φ)是给定参数φ和给定y(t)估计的模型响应，t = 0。。。，天猫。我们发现tmax ≤ 1.5秒。使得这个模型无用；因此，在这项工作中，我们分析了从tmax = 1.6秒开始的多个优化范围。并以最大tmax = 5秒结束。如图3。
图3为图1所示的预处理测量(黑点)计算的Kohn和Clynes模型响应(实线和粗绿线)。在每种情况下，建模从t = 0开始。左上图显示了5秒钟观察后的模型输出，bφ = [62.82，0.10，4.27，0.17，47.97，0.84，0.14]T。其余三个图说明了优化范围减小时建模精度的下降。 D. Goodness of fit 为了评估拟合优度，我们使用归一化均方根误差，即
其中y是y的平均值，k表示向量的2范数。GoF限制从0(当by并不比直线拟合y好时)到1(完美拟合)。 E. Classification of the liveness features 图4中所示的活性特征的样本值表明了它们的异质辨别能力。然而，由于特征空间的低维度，我们没有应用任何特征选择方法。此外，在识别模型时，我们需要设置所有七个参数。
图4。活跃度特征bφ的v值是针对正光刺激和五秒钟观察时间的预期(蓝色十字)和奇数(红色圆圈)瞳孔反应计算的。显示了所有204部眼部图像的结果。归一化均方根误差(NRMSE)也显示在右下方的图表中，这表明与奇数瞳孔反应相比，正常瞳孔反应更适合。 因此，缩小特征集没有实际的理由。为了构建分类函数，我们使用支持向量机作为在低维特征空间中表现良好的最佳现成分类器之一(如我们的例子)。为了逼近线性和非线性分类边界，我们部署了线性SVM以及径向基函数和多项式核。 A. Generating gallery and probe samples 为了最小化低估性能错误的风险，我们将数据集分成两个不相交的子集，用于训练和评估给定的方法。训练子集通常被称为图库，而用于评估训练算法的子集被称为探针。在理想情况下，我们有足够大小的图库和探针子集，以提供满足我们需求的计算误差的统计保证。然而，在典型情况下，这些集合的大小远低于理想值，并且——取决于原始数据库的大小——使用不同的交叉验证技术来回答特定结果如何在独立和未知数据上进行归纳。在生物测定学中，我们通常使用k折叠和省略n交叉验证，前者设置k = 2(两个折叠，可能大小相等，对应于图库和探针子集)，后者设置n = 1(图库) 由n-1个样本组成，而剩余的一个样本形成探针组)。在这项工作中，使用了遗漏交叉验证，但遗漏了给定人员的所有样本，而不是使用单个样本(即单个时间序列)。该场景生成n = 26次训练测试实验(等于不同受试者的数量)，而不是204次(即所有样本的数量)，但是由于同一个人的样本之间的统计依赖性，我们相信通过个人依赖性获得无偏的评估结果。 B. Decision making 仅仅依靠分类器输出是不够的，因为眼睛的一些奇怪反应可能导致模型参数落入表示真实眼睛反应的子空间。与分类器输出同时分析拟合优度是一个好主意，因为错误接受的样本可能是由于模型识别不良造成的。这建立了一个二维决策平面，一个轴上有分类器响应，另一个轴上有拟合优度，提供了四个决策区域，如图5。只有当分类器决策是肯定的并且模型拟合是准确的时，我们才认为观察到的对象是活的。
C. Assessment of the method performance 当执行实验时，我们有两个目标:a)评估该方法的性能并选择最可靠的SVM核，以及b)找到提供合理精度所必需的最小瞳孔观察时间。前者回答了这个方法是否有理论潜力的问题。后者估计了在生物识别系统中实际部署的机会，因为预期的虹膜捕获时间应该很短(不超过几秒钟)。省去一个程序的应用(省去给定人的所有样本)导致我们进行n = 26个估计评估实验。也就是说，在每个实验中，我们使用n-1个受试者的所有样本训练三个不同的支持向量机(线性、多项式和径向基)，以及最终的参数优化(特别是:多项式核的阶和径向基核的衰减参数)。然后，我们在剩余受试者的未知样本上评估这些支持向量机。在每个估计实验中，我们还设置了拟合优度阈值，供以后用剩余样本评估分类器时使用。我们决定设置GoF阈值，以免由于活性检测而增加错误拒绝，即我们最小化了NPCER。这种方法背后有一个重要的理论基础，而不是将理论和实践中对非活体眼睛的错误接受降到最低。理论上的讨论表明，预测所有可能的攻击的性质——以及由此产生的相关统计数据——是不可能的。另一方面，为真实的生物特征样本开发统计模型更容易。因此，当逼近分类函数时，关注真实数据是合理的，并且接受该分类器可能为赝品产生一些错误是合理的。这种方法比相反的方法更稳健，在相反的方法中，我们将紧紧围绕特定的假样本来固定分类函数，因为其他类型的假样本的通用性较弱，并且会降低真实样本的准确性。这与实践相对应，因为系统开发人员对增加的错误拒绝概率更有抵抗力，并且他们更有可能接受假货的更高概率(这在没有活跃度检测的情况下非常高，并且当甚至应用弱PAD方法时总是降低)。 因此，我们进行了n = 26次独立评估。作为最终结果，给出了每个SVM和每个观察时间的平均误差率(见图6、7和8)。结果显示了一些有趣的结果。首先，如果我们允许5秒钟的观察(所有26次评估的NPCER=APCER=0)，所有的分类器都能够完美地区分瞳孔的奇怪和自然反应。其次，似乎我们可以将观察时间缩短到3秒以内，因为所有的支持向量机在略超过2秒的时间范围内表现良好。第三，三个不同的支持向量机的性能是相似的，这表明构建一个线性分类器将是一个足够的解决方案，以获得建议的活性特征的可接受的性能。 上一节显示的结果表明，当短时间观察眼睛时(相对于虹膜识别中几秒钟的典型采集时间)，瞳孔动力学可能会提供有趣的活性特征。模仿瞳孔动态是困难的，隐藏自己的瞳孔反应是不可能的，因为它是不自觉的。医学文献还报道，在压力下，瞳孔反应可能会改变。因此，我们甚至可以提出这样的假设，即这是少数能够识别胁迫下的捕获的方法之一。 实施提议的方法可能会产生额外的积极副作用。众所周知，虹膜识别的准确性可能会受到瞳孔不一致的影响。特别是当瞳孔放大在注册和认证过程中显著不同时。矛盾的是，本文提出的方法可以免费补偿这种现象，特别是不引入额外的采集时间。即一旦虹膜图像被捕获，生物测定系统可以选择具有不同瞳孔大小的一个(或几个)虹膜图像来执行生物测定识别(不需要额外的捕获)。如果相同的系统记录了在注册时观察到的瞳孔大小以及参考模板，它可以在认证阶段选择具有相似瞳孔大小的帧。如果没有瞳孔大小数据连接到参考模板，系统可以部署呈现不同瞳孔大小的多个认证图像，并选择模板和认证样本之间的最小距离。这将显著降低虹膜比较分数分布的类内方差。 为了完成我们的结论，我们还应该分析硬币的阴暗面。首先，动态特征的测量需要时间。并非所有应用程序在捕获虹膜时都允许额外的两秒钟。第二，局限性可能来自不同人群动态特征的可变性以及老年人瞳孔大小的更细微变化。由于本研究中使用的数据库不包含老年人的任何测量值，因此在他们的情况下，报告的误差可能被低估。第三个限制可能是指由于摄入不同的物质(例如，药物或酒精)、改变的心理状态(例如，压力、放松、困倦或精神负荷)而导致的瞳孔动态可能的不稳定。我们不知道会彻底讨论这些因素对瞳孔动态的影响的科学结果，但是很容易想象它们不是不重要的。由于这项工作为没有压力和没有摄入任何可以改变瞳孔反应的物质的人提供了研究结果，我们不能保证在这些异常情况下瞳孔动力学没有改变。以免我们也忘记周围的环境，因为起始瞳孔大小(以及反应的幅度)取决于环境光的强度。这项研究使用了施加光刺激前在黑暗中收集的数据。 总之，这种方法似乎是鲁棒活性检测的一个很好的候选方法，具有很高的实际应用潜力。记住它的局限性，人们可能会获得PAD实现的一个有趣的元素，它对检测静态伪像的方法没有提供的特性很敏感。 作者要感谢Rafal Brize先生，他在本作者领导的硕士学位项目下收集了本工作中使用的虹膜图像数据库。作者衷心感谢华沙理工大学安杰伊·帕库特教授对本研究做出的宝贵贡献。Kohn和Clynes模型的应用受到Marcin Chochowski先生的研究的启发，他在生物识别中使用该模型的参数作为个体特征。这位作者和教授Pacut和Chochowski先生，已经被授予美国专利第8，061，842号，该专利部分地涵盖了在这项工作中采用的思想。最后但并非最不重要的是，作者衷心感谢芭芭拉·曼乔内对英语语法和单词用法的更正。