Awash: 老年痴呆症患者通过可穿戴设备洗手

摘要：

• 本文提出了一个系统Awash，只使用安装在大多数手腕佩戴设备(如智能手表)上的商用设备IMU传感器表示手部运动，并提供相应的帮助，以确保痴呆症老年人遵守手部卫生。
• 老年痴呆症患者针对老年痴呆症患者IMU本文设计了一系列有效的技术来分割洗手动作，将感觉输入转换为身体坐标系，并提取传感器-身体倾斜角。
• 混合神经网络模型，使Awash在不需要重新重新培训或调整，避免了收集每个用户行为信息的麻烦。
• 为满足具有不同执行功能的用户的不同需求，本文利用状态机进行快速决策，支持定制帮助。 对8名年长参与者的原型进行了广泛的实验，Awash能提高用户洗手时的独立性。

1 介绍

• 阿尔茨海默病患者的记忆力逐渐丧失，执行功能逐渐恶化，以执行必要的日常生活活动（ADL），比如吃饭、化妆、穿衣。此外，洗手是老年人减少细菌和避免疾病的好方法，尤其是新冠肺炎或新冠肺炎H1N在等呼吸道病毒爆发期间。
• 基于视觉技术的现有工作效率很高，但由于隐私考虑和硬件成本高，通常不允许在浴室安装摄像头。
• 此外，近年来还提出了几种基于手腕佩戴设备的系统，主要是提取加速度和角速度来区分洗手动作。
• 这些方法通常对年轻人和健康的人来说是有希望的结果。然而，一旦被用于帮助患有痴呆症的老年人洗手，它们总是无效的。究其原因，主要有以下三个方面：

1. 不同的行为模式。阿尔茨海默病患者的洗手行为模式与年轻人和健康成年人有很大不同。例如，阿尔茨海默病患者的手部运动轨迹比健康成人的手部运动轨迹更曲折。此外，运动和肌肉的软弱和僵硬也会发生IMU传感器读数干扰(如转折点多，峰谷位置不同)，总会使手的重复运动模式变形。因此，识别阿尔茨海默病患者的洗手行为需要先进的数据处理技术。
2. 洗手动作模式的个体差异更为明显。阿尔茨海默病患者由于认知障碍的不同，在执行洗手任务时表现出时间和空间的差异。因此，他们的洗手动作模式比健康人有更明显的个体差异。
3. 各种救援方法。痴呆症患者有不同程度的认知障碍，导致执行功能不同。他们需要不同形式的援助，现有的系统还没有解决这个问题。

• 基于上述原因，本文提出Awash，这是一个专门为老年痴呆症患者提供的洗手辅助系统，只使用商品IMU为了在大多数手腕佩戴设备上实现传感器。通过观察发现，阿尔茨海默病患者在洗手过程中的手腕姿势在不同的洗手动作中是不同的，对各种干扰有很强的抵抗力。 这促使我们调查手腕姿势测量，以确定洗手动作的特征，然后根据所执行的动作提供帮助。
• 本文的目标是建立一套能够准确识别洗手行为的，为阿尔茨海默氏症老年人洗手辅助系统提供不同的洗手辅助解决方案，无需培训和适应。
• 尽管构思简单，但Awash设计面临三大挑战：

1. （信号处理）如何从连续噪声开始IMU在传感器数据中获取各种洗手动作片段？有些痴呆症患者洗手时，视觉运动障碍会影响他们的眼手协调能力，导致视觉运动障碍IMU传感器数据中噪声产生的峰值和谷 ，干扰实际洗手动作的检测（单个动作）。此外，洗手动作的分割也会受到其他类型动作的干扰。例如，由于记忆力和注意力持续时间的损害，运动在不同的洗手动作和不可预测的运动之间进行转换。为了解决这个问题，我们使用了一个基于自相关方法检测洗手运动片段。
2. （提取特征的方法）如何提取具有代表性的手腕运动信息，以区分阿尔茨海默病患者的各种洗手动作。由于阿尔茨海默病患者运动的不协调性质，手腕佩戴设备收集的传感器读数粗糙而嘈杂。因此，老年痴呆症患者的洗手动作识别不足以直接从加速度计和陀螺仪读数中估计的运动速度和位移信息。为了解决这个问题，我们研究了它IMU传感器和使用者身体之间的相对倾角（传感器—身体倾角），帮助准确、健壮地识别洗手动作。
3. （推广分类模型）如何为有不同认知障碍的阿尔茨海默病患者设计独立于用户洗手动作识别系统？有证据表明，阿尔茨海默病患者的洗手方式也因认知障碍程度的不同而非常不同。例如，认知水平相同的用户在洗手时可能有不同的运动轨迹，而认知能力不同的阿尔茨海默病患者不仅有不同的手运动轨迹，而且有不同的曲折路径。为了克服这一点，本文利用混合网络模型来处理用户行为的差异Awash它对任何人都有用，而不需要重新训练或适应。 综上所述，本文主要做了以下几个方面的工作：

• 本文提出了Awash，这是一种基于可穿戴设备的洗手辅助系统，适用于痴呆症患者。它可以表达老年人独特的洗手模式，识别洗手动作，并支持对不同用户的定制指导。
• 本文设计了一套数据处理算法的数据处理算法，并解码传感器读数IMU传感器与用户身体的相对位置。 利用混合网络模型来处理个体之间的显著差异，实现独立于用户的洗手识别。 此外，本文使用状态机为不同认知障碍的用户提供定制服务。
• 本文实现了一个原型系统，并在不同的参数和场景8名老年人的实验结果表明，Awash能有效识别6种不同认知障碍的老年人的洗手动作，提高手独立性。 本文的其余部分扩大了上述贡献。首先简要介绍洗手的动作和系统概述。（描述每一章的内容。） The remainder of this paper expands on the above contributions. We begin with a brief introduction to handwashing actions and the system overview.

2 系统设计

1. 洗手动作

如图1所示，世界卫生组织发布了改善手部卫生的指导方针。洗手过程包括六个动作：手掌摩擦（动作1），右手手掌交叉左手背十指，反之亦然（动作2），手掌交叉十指（动作3），手指交叉十指（动作4），左拇指在右手掌旋转摩擦，反之亦然（动作5），右手手掌旋转摩擦，向后摩擦，反之亦然（动作6）。本文讨论了这六种洗手动作的认知。此外，本文提出的一般洗手方法也可以推广到其他洗手动作中。

2. 系统概述

Awash腕带装置收集的基本思想是分析IMU区分洗手动作的数据。通过一些技术，触发洗手数据收集和检测用户是否使用肥皂。 例如，使用蓝牙或Wi-Fi模块定位用户，确定用户是否靠近浴室水槽，并使用智能水龙头和智能泡沫肥皂分配器检测用户打开水龙头和使用肥皂。我们目前的重点是认识到阿尔茨海默病患者的洗手行为，并根据实施行为提供帮助。 作为数据提供者，老年人洗手时会佩戴记录手部动作的腕式装置。图2显示Awash系统概况。该系统由洗手动作分割、洗手信息推导、洗手动作识别和洗手辅助四部分组成。

在洗手动作分割阶段，首先使用滑动平均滤波器IMU降噪处理传感器数据。 然后，我们用自相关的方法来区分洗手动作、非洗手动作和额外动作。 最后，我们根据每个洗手动作的开始和结束，对每个洗手动作进行分类，这将导致线性角度的波谷。

在洗手信息推导阶段，转换坐标，将传感器读数与坐标系对齐。计算IMU传感器与使用者身体之间的相对倾斜角度来表征洗手动作。

洗手识别的核心是混合网络模型。传感器-身体倾斜角的时间序列作为输入，模型的隐藏层包含多层LSTM模型，输出层包含aggregate层(聚合层)和softmax层。混合网络利用神经网络的强大功能，可以提取与用户无关的特征。 经过训练，该模型能有效识别洗手动作。

面对不同用户的不同需求，洗手辅助服务旨在为他们提供不同的帮助。不同认知能力的老年人在洗手时会遇到不同的问题。因此，他们需要不同的帮助来改善手部卫生。例如，有些用户需要特定的步骤，有些用户需要错过步骤，有些用户需要强迫。我们用状态机建模高级用户的洗手过程。我们通过定制输出功能为用户提供定制帮助。

3. 分割洗手动作

滑动窗口将收集到的数据直观地分成连续的片段，然后提取特征进行分类。然而，在不同类型的洗手动作之间需要额外的动作。例如，动作4是用手指在手掌上摩擦手指北部，动作5是通过旋转摩擦左拇指和右拇指来完成的。如果用户连续执行动作4和动作5，额外的动作将被引入，从手指互锁到拇指扣。IMU传感器数据包括记忆力和注意力损伤引起的非洗手动作(如抓挠)。 我们设计了检测和分段洗手动作的算法，以避免不必要的计算费用和错误分类。

(1)噪声抑制:为了有效于有效的数据处理动平均滤波器对IMU传感器读书中的随机噪声进行粗略的抑制。 （2）洗手动作检测：一个关键的观察是老年痴呆症患者在洗手过程中总是重复进行各种洗手动作。这样的重复运动导致了加速度计数据的重复模式。而额外的动作和非洗手动作通常没有重复的模式。因此，我们的基本思想是检查滑动窗口中的加速度计数据是否有重复的模式，然后检测洗手动作。 然而，由于老年痴呆患者的眼手协调能力受损，每次洗手动作的加速度计数据是噪声和粗糙的。重复洗手动作的数据在幅度、峰值数目和峰值位置上存在差异。 直观的方法，如比较峰与峰之间的距离和傅里叶变换不能解决我们的问题。因此，我们采用自相关的方法来处理洗手动作的加速度问题。周期信号的自相关序列具有与信号本身相同的循环特性。因此，自相关可以帮助确定周期的存在和估计周期。

我们首先对时间序列加速度计数据应用一个滑动窗口。通过观察大多数洗手动作在2.5秒内完成，我们将窗户大小设置为6秒，以确保窗户可以捕捉到重复的洗手动作。然后，我们通过从1到window size × fs - 1的变化来计算窗户内数据的自相关，其中fs是采样频率。 假设窗上的数据来自同一种洗手动作，在这种情况下，至少有两个滞后会导致自相关峰，一个是可能的重复周期P，一个是可能的重复周期的两倍2P。如果窗口数据来自额外的运动或非洗手运动，则不能观察到自相关峰值。

图3显示了处理y轴加速度计数据的示例。洗手动作以黄色背景标示，非洗手动作及额外动作以白色背景标示。我们可以观察到，虽然同一种洗手动作的加速度波形不同（例如，峰值数目不同），但基于自相关的方法可以有效地区分非洗手动作和额外动作的洗手动作。由于x轴、y轴和z轴从不同角度反映了洗手动作的特点，如果将任意轴上的时间序列数据归类为洗手动作，则将其作为洗手动作。注意，我们在这个阶段不处理陀螺仪数据，因为加速度计数据有更好的性能，并足以实现有希望的检测。 （3）开始和结束位置检测：通过观察IMU传感器数据的振幅与运动强度成正比，我们检查IMU传感器数据值，确定每个动作开始和结束位置。由于在进行不同的洗手动作时，设备的坐标系会随着手腕旋转，因此每次洗手动作的开始和结束可能是加速度和陀螺仪的x、y、z轴数据的峰值或谷值。为了解决这个问题，我们转向是用线性角速度（LAV）： L A V = ( w x ) 2 + ( w y ) 2 + ( w z ) 2 L A V=\sqrt{\left(w_{x}\right)^{2}+\left(w_{y}\right)^{2}+\left(w_{z}\right)^{2}} LAV=(wx​)2+(wy​)2+(wz​)2 ​ 其中， w x w_x wx​、 w y w_y wy​、 w z w_z wz​分别是陀螺仪在x，y和z轴的读数。LAV的是用使我们不必费心去确定动作的开始和结束是对应于一个高峰还是一个低谷。在洗手动作的LAV数据中，开始位置和结束位置必须对应于接近零的波谷。为了在不受额外波谷干扰的情况下准确地分割动作，我们首先比较了波谷之间的距离和滑动窗口中估计的周期P。两个波谷之间的距离和估计的周期P值最近被认为是洗手动作的开始和结束的位置。然后，通过向前或向后搜索，找到在窗口中其他的开始和结束的距离最接近于估计周期P的波谷，从而确定滑动窗口中其他洗手动作的起始点和终止点。图4是LAV结果搜索起始点和终止点的例子。

4. 洗手信息的推导

我们首先将传感器读数转换到身体坐标系统，然后计算传感器——身体的倾斜角。传感器——身体倾斜角使用的优点包括：（1）干扰对传感器——身体倾斜角有一定程度的影响，但影响不大。 （2）运动轨迹和路径曲折度的多样性对传感器——身体倾斜角只有很小的影响。（3）不同的使用者可以有一致的传感器——身体倾斜角的模式。 1)坐标转换：在洗手过程中，涉及到三个坐标系统，即设备坐标系（DCS）、接地坐标系（ECS）和身体坐标系（BCS）。图5显示了三个坐标系和欧拉旋转角度：pitch、roll和yaw。首先将IMU传感器数据从DCS转换到ECS，然后再从ECS转换为BCS，最后计算传感器——身体倾角。

DCS到ECS的转换：Awash首先使用一个基于四元数的方法对DCS到ECS的数据进行对齐。四元数是一个形式为 q = q i i + q j j + q k k + q r \mathbf{q}=q_{i} \mathbf{i}+q_{j} \mathbf{j}+q_{k} \mathbf{k}+q_{r} q=qi​i+qj​j+qk​k+qr​，其中i，j和k是基本的四元数单位， q i q_i qi​， q j q_j qj​， q k q_k qk​和 q r q_r qr​是实数。为了简化计算过程，我们基于 q i 2 + q j 2 + q k 2 + q r 2 = 1 q_{i}^{2}+q_{j}^{2}+q_{k}^{2}+q_{r}^{2}=1 qi2​+qj2​+qk2​+qr2​=1进行了归一化。我们使用基于四元数的旋转，将传感器的读数从DCS转换为ECS： P e = q d e P d q d e − 1 P_{e}=\mathbf{q}_{\mathrm{de}} P_{d} \mathbf{q}_{\mathrm{de}}^{-1} Pe​=qde​Pd​qde−1​ 其中 P d P_d Pd​是在DCS中采集到的数据， P e P_e Pe​是在ECS中的旋转数据。从DCS到ECS的四元数 q de  q_{\text {de }} qde ​可以直接从IMU传感器中取得，而同样， q d e − 1 q_{\mathrm{de}}^{-1} qde−1​是 q de  q_{\text {de }} qde ​的共轭四元数。

ECS到BCS的转换：我们发现参与者在洗手时会面对不同的方向。仅仅将数据从DCS转换到ECS还不能提供稳定的姿态模式来实现精确的传感。因此，我们将ECS中的转换数据转换为BCS，以规范化传感器的读数，计算如下： P b = q e b P e q e b − 1 P_{b}=\mathbf{q}_{\mathrm{eb}} P_{e} \mathbf{q}_{\mathrm{eb}}^{-1} Pb​=qeb​Pe​qeb−1​ 其中， P e P_e Pe​是ECS的转换数据， P d P_d Pd​是BCS的旋转数据。  qeb  \text { qeb }  qeb 是从ECS到BCS的四元数，而 q e b − 1 q_{e b}^{-1} qeb−1​是  qeb  \text { qeb }  qeb 的共轭。考虑到传感器不能直接获取到从ECS到BCS的四元数，因此我们采用基于欧拉角的方法来计算所需的四元数  qeb  \text { qeb }  qeb 。我们将数据通过下面定义的roll( ϕ \phi ϕ)，yaw( ψ \psi ψ)和pitch( θ \theta θ)来进行转换： q e b = [ sin ⁡ ϕ 2 cos ⁡ θ 2 cos ⁡ ψ 2 − cos ⁡ ϕ 2 sin ⁡ θ 2 sin ⁡ ψ 2 cos ⁡ ϕ 2 sin ⁡ θ 2 cos ⁡ ψ 2 + sin ⁡ ϕ 2 cos ⁡ θ 2 sin ⁡ ψ 2 cos ⁡ ϕ 2 cos ⁡ θ 2 sin ⁡ ψ 2 − sin ⁡ ϕ 2 sin ⁡ θ 2 cos ⁡ ψ 2 cos ⁡ ϕ 2 cos ⁡ θ 2 cos ⁡ ψ 2 + sin ⁡ ϕ 2 sin ⁡ θ 2 sin ⁡ ψ 2 ] \mathrm{q}_{\mathrm{eb}}=\left[\begin{array}{l} \sin \frac{\phi}{2} \cos \frac{\theta}{2} \cos \frac{\psi}{2}-\cos \frac{\phi}{2} \sin \frac{\theta}{2} \sin \frac{\psi}{2} \\ \cos \frac{\phi}{2} \sin \frac{\theta}{2} \cos \frac{\psi}{2}+\sin \frac{\phi}{2} \cos \frac{\theta}{2} \sin \frac{\psi}{2} \\ \cos \frac{\phi}{2} \cos \frac{\theta}{2} \sin \frac{\psi}{2}-\sin \frac{\phi}{2} \sin \frac{\theta}{2} \cos \frac{\psi}{2} \\ \cos \frac{\phi}{2} \cos \frac{\theta}{2} \cos \frac{\psi}{2}+\sin \frac{\phi}{2} \sin \frac{\theta}{2} \sin \frac{\psi}{2} \end{array}\right] qeb​=⎣⎢⎢⎡​sin2ϕ​cos2θ​cos2ψ​−cos2ϕ​sin2θ​sin

标签： qeb扩束复合连接器光缆组件