资讯详情

基于深度学习与机器视觉的有关人体特定姿态行为检测产品的国内外研究现状(需要自取)

首先,人体行为特征识别是国内外研究和应用的热点,一般结合机器学习、人工智能、计算机视觉、传感器等技术。目前,国内外对人体姿势行为检测方法的研究主要分为两个方向:一是基于传感器的接触式姿势行为检测,二是基于机器视觉的姿势行为检测。无论是收集行为特征的机械信息和空间信息,还是收集姿态特征的图像信息,都是根据特征数据的特征建立模型,然后识别和判断行为特征。基于传感器的接触行为检测,数据采集方便可靠,但一般需要接触人体,其精度受传感器硬件、信号传输过程噪声、环境等不可抗力因素的影响。基于视觉的行为检测在室内环境中具有非接触特性,具有较小的约束感。随着处理器和图形卡运行速度的加快,图像处理能力达到了新的高度,相对稳定,影响较小,但也受到环境、设备和算法的影响。

国内而言:

在基于传感器的姿态行为检测领域:

Min Weidong2018年提出了基于场景识别和语义分析的检测方法,研究不健康坐姿。利用微软Kinect传感器检测和跟踪人体的关键骨点,使用快速响应神经网络,通过高斯混合行为聚类进行语义分析,将特征融入语义特征,区分不同类型的坐姿。结果表明,该方法能准确有效地检测屏幕阅读中的各种不健康坐姿,检测到更多类型的不健康坐姿,并可广泛应用于医疗辅助领域。

2020年,杜英魁等人设计了人体坐姿感知终端。该感知终端结合端云技术框架,采用电阻膜压力传感器组,收集人体坐姿的腿部和臀部压力特征,提出异常值过滤和平滑预处理的复合限幅过滤方法,降低预处理压力数据的维度。在云中构建了支持向量机的坐姿多分类算法,从终端获取轴倾系数,完成人体姿势的多分类计算,数据通过无线网卡发送到感知终端。实验结果验证了算法的有效性。在上述两个结果中,传感器功能相对单一,不能满足对人体其他特征行为的检测和判断。

在基于机器视觉的姿态行为检测领域:

香港中国大学汤晓鸥团队设计的Gaussianface_算法在LFW人脸数据库上的准确率为98.52%,首次突破了人眼的识别能力,然后发布了DepID系列算法,成功实现了商业化。同时其传统的基于手工设计的人脸特征提取方法人脸识别的准确性往往取决于样本类型和预写规则,不能覆盖所有人脸特征和姿势,准确性不高。

2015年,贾若晨通过训练级联分类器用于人脸识别KLT算法跟踪人脸,但对身高过高或过低等特殊人群的检测识别率较低。

2019年,刘敏等人提出了一个基础MTCNN该算法的坐姿检测方法通过卷积神经网络和肩部区域的定位收集关键数据,并通过支持向量机分类器对六种坐姿进行分类。但是肩部区域的不对称并没有通过背景差异来讨论。李博等人提出了一个基础Kinect V2.人体测量与神经网络人体姿态识别的混合方法综合利用了深度数据、骨骼数据、人体测量知识和反向传播神经网络(BPNN)。实验证明了混合方法的及时性。识别精度高,平均值99.09%.

此外,邹方园等人提出了一种基于多相关特征的坐姿判断方法。能够阅读坐姿

通过交换机神经网络学评估姿势的健康,可以根据空间位置提取坐姿特征

习分类,实现了坐姿的判断。

魏华良、王金祥2020年通过使用帧间差法和背景差法更新背景,对室内摄像头采集的图像进行二值化和滤波干燥处理,创新性地采用基于连接域的方法分析提取特征,利用形心指标反映目标的整体位置,判断儿童的学习姿势状态,最后警告儿童姿势不当。

我们可以看到,中国对态度行为的态度行为在中国看到检测研究起步较晚,但也取得一定成绩,但在深度学习实现姿态行为检测方面仍存在不足,研究的深度与广度还不足够,特别是在产品能否满足人体特定行为检测的普遍性和多样性方面。

对于国外:

基于传感器的姿态行为检测:

韩国Yong Min Kim利用机器学习算法开发儿童坐姿分类识别系统。采用卷积神经网络算法,初步实现深度学习,用于分类和识别坐姿的数据通过压力传感器垫收集。提取五种指定姿势的特征数据。经过实验,该算法的准确性较高,预计将建立一个综合的姿态监测系统。

Paul利用机器学习技术识别轮椅用户的姿势,选择压缩近邻规则

原型,使用Kennard-Stone算法通过主成分析进行数据平衡

降维。最后,对平衡预处理数据进行姿态分类识别。

Muhammad Tariq等在2019年将Kinect与各种传感设备融为一体网框架

中,对坐姿相关的辅助活动的检测方法进行改进。增加了对运动传感器的数据

的收集,然后通过隐马尔可夫模型的交叉验证来分析该数据的鉴别能力。实验

表明,在运动传感器数据的补充下,Kinect平均减少了12%的混淆情况。

基于机器视觉的姿态行为检测方面:

         艾哈迈德等提出了一种基于随机决策森林的深度图像无骨架自由落体跌倒

检测系统。通过分析深度像素的局部变化进而识别所采用的姿势。使用类似

Kinect的传感器获取的输入深度帧,处理后使用随机决策森林以分类站立、坐

着和跌倒姿势。使用支持向量机识别坠落事件。具有很高的灵敏度。

         Tayyaba  Azim 等[1]通过Viola-Jones 人脸检测算法对实验人进行面部定位,根据模糊 C 均值聚类方法对嘴唇位置图像进行分割提取,并将嘴唇区域的几何状态作为特征传递至支持向量机进行分类,以此检测实验人当前的面部姿态。

         而国外基于深度学习与机器视觉的人脸检测算法大致可以分为两类:目标检测法和级联法。

        目标检测算法的开山鼻祖 Girshick 等人提出 R-CNN[2]模型,该模型首次利用卷积神经网络提取的局部区域特征来进行目标检测,把检测的问题转化为分类问题。一方面能够充分利用卷积神经网络提取到鲁棒的超完备特征,另一方面得益于提出的边框回归算法,能够在粗略选中目标的基础上更加精确的描述目标位置。改进版本Fast R-CNN[3]针对特征的重复计算问题进行了改进,极大提升了检测速度。随后提出的 Faster  R-CNN[4]又提升了检测速度和准确度。用 VGG 网络[5]作为特征提取网络时在VOC2007 上的 mAP 可以达到到 73%。

         级联法,如 Cascaded CNN[6],是对经典的 Viola-Jones 方法的深度卷积网络实现。 为了减少计算开销,Cascaded CNN前面的神经网络结构较简单,后面的网络结构较复杂,从而得到更加准确的结果。MTCNN[7]同样采用了三阶级联,该算法有三个阶段组成:第一阶段,利用浅层卷积神经网络快速的生成候选区域;第二阶段,通过较复杂的卷积神经网络精炼候选区域,丢弃大量的重叠区域;第三阶段,使用更加复杂的卷积神经网络,实现候选区域的判定,同时预测出五个面部关键点的位置信息。

       然而这些方法大多都没有进行联合训练,而是利用贪婪算法进行优化,导致这些方法忽略了卷积神经网络可以被联合优化的特性。此外,由于对多个卷积神经网络进行训练,这些方法的训练开销往往较大。

        另外,在基于深度学习与机器视觉的产品测试方面,国外的测试数据集包括:JAFFE日本女性表情数据集,Cohn-Kanade人脸表情数据集,FER2013比赛数据集及耶鲁大学人脸数据集。

         综合国内和国外关于姿态行为检测的研究现状,基于传感器的姿态行为检测产品基本无法满足实际需求,而基于机器视觉的姿态行为检测产品具有更大的市场潜力和竞争力,同时也是各方研究的热点,然而当下产品的普适性、完备性还有待考量。因此本项目将着重于引入深度学习的理念,与机器视觉相结合,共同实现对人体行为姿态的检测,以提高产品的功能性,满足各方诉求。

  1. T Azim, MA Jaffar, AM Mirza. Automatic Fatigue Detection of Drivers through Pupil  Detection and Yawning Analysis[C].International Conference on Innovative Computing,  Information and Control, Kaohsiung, Taiwan, December 7-9, 2009.

[2] R.B.Girshick, J.Donahue, T.Darrell, et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Columbus, 2014, 580-587.

[3] R.B.Girshick. Fast R-CNN[J]. International conference on computer vision, 2015: 1440-1448.  

[4] S.Ren, K.He, R.B.Girshick, et al. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.  

[5] K.Simonyan, A.Zisserman. Very Deep Convolutional Networks for Large-Scale Image Recognition[J]. International conference on learning representations, 2015.

  1. I.Kalinovskii, V.Spitsyn. Compact Convolutional Neural Network Cascade for Face Detection[J]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Piscataway, 2015, 375-387.  

[7] K.Zhang, Z.Zhang, Z.Li, et al. Joint Face Detection and Alignment Using Multitask Cascaded

标签: 电阻姿态检验

锐单商城拥有海量元器件数据手册IC替代型号,打造 电子元器件IC百科大全!

锐单商城 - 一站式电子元器件采购平台