如前所述，考虑了一种广泛的方法来检测手的动作和活动。与之前几乎所有的手传感工作相比，我们特意选择了一个商品平台来进行我们的探索和研究。一方面，这是对磨损位置和宽度的限制，我们可以带来这个具有挑战性的问题。另一方面，如果成功，它提供了实现我们愿景的即时实用手段；制造商可以部署这个传感功能，比软件更新稍微多一点。 作为概念验证平台，我们以前使用过它ViBand智能手表和高速采样模式在研究中确定。Tis是一款运行Androrid磨损的LGW100智能手表(图2)。内置可以通过修改公共可用的核[5]来配置MPU6515IMU，以便在4 kHz[30]下流化三轴加速度计数据。Tis数据流捕获粗糙手的运动和方向，以及生物声学数据(高达2 kHz奈奎斯特极限)。

为了方便今后在这一领域的工作，我们提供了高速加速度计在兼容安卓设备上收集的源代码。我们还提供了我们的研究数据和模型代码。htp://github.com/FIGLAB/hand-activities

手是人类经验的中心。因此，它一直是许多领域研究的焦点，包括古生物学和解剖学[77]、语言学[48]和神经科学[76]等。从家庭生活到工业环境[3][37]，民族志研究了如何使用手。提出了许多手分类，最常见的是由握力或通信原语[18]组织的，它们大致与功能或表达用途有关（例如，见[21]分类调查）。不幸的是，这项开创性的研究大多是在计算普及之前完成的。作为我们研究的起点，我们希望了解两个关键问题： 1）在现代世界，人类用手做什么活动？有了这样的清单，我们希望专注于我们的技术努力，更好地了解这些活动的识别在计算增强设置中是如何有价值的。 2)不同的手部活动会产生特征信号吗？换句话说，手的活动是不同的和可分割的吗？智能手表中的商品传感器能提供足够的保真度来实现稳定的分类吗？

为了探索这些问题，我们试图在野外收集一个随机分布的参与者的手部活动数据。虽然复习数据收集方法（如调查、访谈）相对容易部署，但它们也受到自我选择和记忆偏差[36]的影响，特别是对于手部活动等普通事物。我们也考虑了观察方法，但这对我们想要实现的部署规模是不现实的。

相反，我们采用了经验抽样的方法(ESM)[17]通过在原位[10]收集数据来减少偏差。我们使用了10块智能手表，并在两周内为50名参与者部署了一个定制的应用程序。我们使用了一个从当地人口中提取的参与者池，涵盖不同的年龄、性别和职业（25名女性，平均年龄26岁）.3岁）。

我们的智能手表运行了自定义的背景应用程序(图2)。在7到15分钟的随机睡眠间隔内，我们的应用程序秘密捕获10秒的加速度计数据。然后，Te为了吸引佩戴者的注意，应用程序激活屏幕和振动电机。将显示一个简单的标签界面。初始屏幕提供三个选项：忽略提示，将活动标记为定义错误（例如，不清楚，在活动之间），或继续标记手部活动。选择前两个选项中的任何一个都会导致应用程序回到睡眠状态。如果选择标签活动，下一个屏幕会问:你的手在做什么？提供预填写的活动列表和添加自定义标签的能力（使用支持的智能手机应用程序以方便输入），这些标签将添加到列表中供未来使用。如果用户在任何屏幕上输入超过30秒，应用程序将返回睡眠状态。

参与者在部署前完成了一个小时的设置和定位。回顾预填手活动标签。参与者还可以根据自己的需要添加额外的标签。参与者还明确表示，他们不想被实验干扰(比如晚上10点到上午8点)。按照这个方向，参与者在主臂上戴智能手表两天(晚上取下充电)。参与者每天获得10美元，加上每个标签0.比基本工资高出25美元(即每天最多25美元)。本研究以30分钟的开放访谈结束。参与者经常详细说明他们注意到的手部活动，但从未被手表的随机采样间隔捕捉到。

我们的手表已经部署了100天(磨损950小时)，此期间他们捕获了5830个实例。其中，765例（13.1%）被标记为未定义的病例。剩下的5065个实例包含120个独特的标签。为了规范参与者的标签，一对人类编码员使用了一个共识合并方案。例如，“手”“在口袋”和“手在臀部”最终合并成一个统一的“手静止”标签，这是基本的手活动。它将唯一标签的数量减少到83个，如表1所示。 从我们的经验抽样研究中获得的见解和含义是多方面的。最重要的是，它证实了我们的假设，即人类的手从事令人难以置信的多样性活动。然而，有一些活动占主导地位：35%的标签是手仍然或闲置，接下来的4个最常见的标签比剩下的78个手活动加起来更常见。我们认为这对于手部活动感知来说是个好兆头，因为检测少数常见动作可以包含一天中的大多数手部活动（一个更容易的分类问题）。然而，也很明显，有一个不太频繁的活动的非常长的尾巴。其中一些可能是罕见的，但其他的可能是常见的，而且只是持续时间短，因此很少被我们的随机抽样方法捕获。

我们还发现了许多参与者没有分解成原子手活动的标签。我们所说的原子，是指那些不能被分解成不同阶段的事件。例如，吃和烹饪是常见的标签，但这些都是复合活动，包括各种原子手活动（例如，洗涤、切菜、混合）。我们的程序员也遇到了一些不明确的标签。例如，“开放麻烦”可能意味着扭转帽子或使用开口，我们认为这是不同的手活动（尽管有类似的目标）。这些分类包括在表1中。

显然，这个结果只是了解手部活动的不同景观的一个小窗口，在HCI和以后还有很多工作要做。尽管如此，这个结果足以为我们的假设奠定基础，并指导我们随后的技术工作。

根据我们的经验抽样研究的结果，我们继续建立了一个手部活动感知管道进行评估。它由三个关键阶段组成：感知、信号处理和机器学习。

如前所述，我们的LGG手表软件捕获了手部的大致方向和运动，以及由手部活动产生的更高保真度的生物声学信息。一个专用的后台进程读取IMU数据，并以4 kHz的加速度计读数(X、Y和Z轴)填充三个256个长度的圆形缓冲区。这些爱好者通过~16FPS的蓝牙发送到笔记本电脑上，它维护一个更大的缓冲区，并执行额外的处理操作。

4 kHz的采样率结合一个大缓冲（8192样本）允许我们的系统计算非常高分辨率傅里叶变换(4096箱0.5Hz分辨率)在短时间内——超过两秒的数据，这是关于如何快手过渡到新的活动。我们只使用了代表0-128Hz频率的较低的256 FFT的箱子，这在我们的ESM研究中发现了大多数人类活动的最佳特征。最后，这256个箱子被保存到一个48帧的滚动光谱图中，代表~个3秒的数据（图3）。三个加速度计轴的光谱图。

管道的下一阶段是从信号中提取和建模父方。从我们的实验中，我们注意到重要的时空关系被编码在加速度计的三个轴上。例如，当擦拭桌子时，z轴大多是不受干扰的（主要是摩擦引起的生物噪声，但很少粗糙），而X和Y通道在表面滑动时经历低频振荡，通常是线性或循环运动。事实上，我们发现许多手活动产生了类似的独特激活父，可以通过足够的数据自动学习。

为了从我们的数据中学习，我们利用了一个卷积神经网络(CNN)架构[2]。具体来说，我们使用了VGG16[64]的一个变体，它修改了完全连接的层（图4，最后两层的大小设置为2000和500）。cnn已被广泛应用于视觉数据集（即宽度×高度×颜色通道），在我们的案例中，我们将手的活动表示为生物声学数据的时空斑块。具体来说，我们将加速度计光谱图堆叠为256个频率箱×48帧×3方向通道，作为CNN的输入。由于我们的通道的强耦合性质，这个设置迫使我们的架构学习跨轴关系。

为了从我们的数据中学习，我们利用了一个卷积神经网络(CNN)架构[2]。具体来说，我们使用了VGG16[64]的一个变体，它修改了完全连接的层（图4，最后两层的大小设置为2000和500）。cnn已被广泛应用于视觉数据集（即宽度×高度×颜色通道），在我们的案例中，我们将手的活动表示为生物声学数据的时空斑块。具体来说，我们将加速度计光谱图堆叠为256个频率箱×48帧×3方向通道，作为CNN的输入。由于我们的通道的强耦合性质，这个设置迫使我们的架构学习跨轴关系。

在我们的VGG16体系结构中，每个卷积单元都由四个子层组成：1)卷积算子，2)一个批处理归一化层[31]，3)一个校正线性单元(ReLu)激活层[53]，4)一个池化层[62]。我们还在第二个全连接层(p=0.4)的输出中添加了一个辍学层[64]，以减轻过度覆盖。图4提供了我们的网络架构的说明（显示了5个卷积单元中的3个）。Te网络是使用张量流(tensorflow.org)和Keras(Keras.io)实现的。为了鼓励复制，欢迎读者下载我们的数据集和模型代码（见第5节）。

为了量化我们的手活动分类器的可行性和鲁棒性，我们进行了第二次用户研究。为了正确地验证我们的系统，需要一个可靠的基本事实。由于我们早期的经验抽样研究的无监督性质，不可能使用该数据集来进行准确性评估（尽管我们使用它来研究假阳性，稍后将进行描述）。相反，我们采用了一种“障碍课程”方法[6]——这种技术在过去的研究中已被可靠地用于提供地面真实数据收集，同时模拟自然活动和设置。为此，我们从我们的经验中确定的类中选择了25个原子手活动（图1和图3）抽样研究（表1，带有项目符号的项目）。我们放弃了一些无法通过实验捕捉到的频繁的手部活动，包括吃饭、烹饪和驾驶车辆。我们将最后的手部活动整合到参与者在佩戴智能手表的同时完成。

我们从一个公共参与者池中招募了12人（9名女性，平均年龄26.6岁），他们在90分钟的研究中获得了20美元的补偿。参与者被要求在他们的主要手臂上佩戴我们的智能手表。一旦感到舒适，“障碍课程”就开始了。课程的每个“圈”包括参观四个站点，进行体育活动，包括25个手部活动（随机顺序）。参与者进行每只手的活动至少为15秒，他们可以自由地进行他们认为合适的活动，捕捉到用户的自然变化。

参与者总共完成了我们课程的四圈，中间有三分钟的休息时间。这确保了数据收集轮之间的时间分离。此外，在第三圈和第四圈之间，参与者被要求取下并重新佩戴智能手表，以再次捕捉变化并减轻过度干扰（这在磨损的传感系统中很常见）。一个训练有素的观察者使用笔记本电脑接口立即标记数据。Tis进程为每个会话产生2500个标记实例，总共产生120K个实例。

为了评估加速度计是否提供了足够的信息能力来区分几十个手的动作，我们使用来自第一圈和第二圈的数据训练了一个模型，并使用从第三圈收集的数据进行了测试。在所有参与者和25个手部活动，我们的系统实现了每个用户的平均准确率为95.2%(SD=4.1，max=98.8%，机会=4%)。混淆矩阵见图5。

穿戴的传感系统经常被训练（或校准），然后测试从未从用户身上移除。这是人工制造的，因为大多数可穿戴设备每天都会被移除。由于对大多数磨损的传感器的放置敏感度，它也往往会导致人为的令人印象深刻的结果。实验效应可以通过明确地包括运动后收集轮来缓解，这不仅提供了更现实的准确性估计，而且还可以评估准确性下降。

使用与之前相同的模型（即在第1圈和第2圈进行训练），我们使用从第4圈收集的数据（即去除后）来评估准确性。总的来说，我们的系统达到了88.3%的平均准确率(SD=16.5，max=98.9%，概率=4%)。在图6中提供了Te混淆矩阵。摘除手表前后的准确性下降了6.9%，远低于我们的预期，这表明我们的信号和方法对放置变化是相当稳健的。我们强烈怀疑，如果在类似的手表拆卸/更换程序后收集了更多的数据，准确性将会反弹。

为了回答商品智能手表加速计是否提供足够的信息能力来区分各种手部活动的核心问题，我们进行了一项重复折叠、交叉验证研究。例如，我们对第1、2和3圈的所有用户数据进行训练模型，然后在第4圈进行测试（即90,000个火车，30,000个测试实例）。我们对所有的单圈组合和平均结果。在所有参与者中，这个“所有用户”模型达到了90.7%的平均准确率(SD=2.2，概率=4%)。图7显示了混淆矩阵。

最后，我们运行了一个留一用户的分析来调查跨用户的性能。在这里，来自一个参与者（第1-4圈）的数据作为一个保留集，而来自所有剩余参与者的数据被用于训练。我们对所有用户重复这个过程，并取结果的平均值。在所有参与者中，平均留一的准确率为79.2%(SD=6.4，max=84.8%)。与之前的结果（90.7%）相比，Tis下降了10%，后者模拟了一个包含一些每个用户的校准数据（即语料库的1/12）的通用模型。

在磨损的输入系统中——特别是以手为中心的系统——考虑拒绝假阳性事件的机制是至关重要的。为此，我们利用从分类器的软极大层输出的每个类的概念分数。当参与者进行（已知的）手活动时，排名靠前的类别平均置信度为98.0%，而排名第二的类别平均置信度为2%。显著的下降表明信心可能是一个很好的预测器。例如，如果最常见的类低于50%，我们的软件就可以将事件标记为未知事件。为了确定一个合理的确认阈值，我们使用我们的研究数据进行了一个模拟，将这个阈值从0变化到100%。图8所示的Te结果表明，当排名最高的类别的信心低于90%时，拒绝事件，提供了假阳性拒绝和错过检测之间的平衡。 除了上面的模拟，我们还进行了另一个实验，其中我们训练了一个“负”的模型从我们的经验抽样研究中提取的样本数据。更具体地说，我们随机选择了30K数据实例，参与者标记了手部活动，但不包括在我们的25个测试集中（包括驾驶、吸烟和化妆）。我们将这些不同的实例标记为一个“未知的”手部活动类。接下来，我们在未知的类数据集上执行了一个随机的80/20的训练-测试分割，然后将其添加到我们的所有用户模型的训练和测试数据集中。在再训练后，我们的模型正确预测（即拒绝）76.0%的未知活动，而总体准确率为87.9%。如果我们包括在之前的模拟中确定的证据阈值（证据>90%），总体精度为92.2%（未知检测为86.3%）。图9提供了这个混淆矩阵；请注意沿着Z列的混淆，我们将其用于未知类。

最后，我们还进行了聚类实验(t-SNE；基于输入数据的前3个PCA成分；图10)来可视化我们的信号的可辨别性，因为可以使用聚类技术来减轻假阳性，即与已知的手活动集群“遥远”的事件被拒绝。基于距离的方法也可以用来捕获负面的例子数据，或者提示佩戴者的标签，以便将来识别。

我们进行了最后一个事后实验来研究加速度计采样频率对分类精度的影响。为此，我们创建了原始4 kHz数据的降采样版本，以模拟较低的采样率：2 kHz、1 kHz、500Hz、250Hz和125Hz。与我们的4 kHz数据一样，这被划分为三轴，0-128Hz，三秒的光谱图。我们对每个样本率进行了交叉圈验证（一轮训练，其余轮测试，共4轮），并结合结果，如图11所示。随着样本率的降低，Tere的精度明显单调下降，在500Hz左右有一个明显的悬崖。

我们的技术最直接的限制是需要在活动的手臂上佩戴智能手表。通常，这将是佩戴者的主要手臂，而手表更常佩戴在被动手臂上。然而，检测仍然适用于双手活动，如鼓掌、洗手或打字。在被动臂上的事件是我们计划在未来工作中探索的一个领域。我们还注意到，我们没有探索同时进行的手部活动，尽管这些似乎很少为一只手。

我们也承认，我们评估的25项手部活动，虽然对于识别研究来说很大，但却只是我们在现实世界中使用手臂和手的方式的一小部分。正如之前报道的，有一个非常长的尾巴，肯定很难区分。我们建议未来的工作集中在可以从计算支持中受益的特定活动上(例如，上下文感知辅助[14][38][39][44][58]、吸烟脱离[11]、老年人护理[19][59][68]、手臂振动综合征(HAVS)[68][69]、RSI[8]类型)。幸运的是，随着分类器变得更加健壮（可能是通过消费者智能手表的大规模采用），无线更新可以逐步解锁对新类的识别。

最后，如前所述，我们的fft使用长窗口，既可以减轻噪声，也可以捕获较低频率的高分辨率光谱数据。因此，我们在识别事件时，会招致几秒钟的延迟惩罚。对于扩展的活动，比如吃饭，分类可能会触发设备进入“不打扰”模式，几秒钟的延迟是可以接受的。然而，对于短时间的活动，比如操作电视遥控器，用户会希望快速提取相关信息（例如，做出有关娱乐的决定）。未来系统可能希望使用具有可变类置信阈值的较小窗口，以支持较长和较短持续时间的手部活动。

使用商品智能手表进行手的活动识别适用于广泛的应用场景，这在之前的研究中已经有了很好的动机。我们相信，我们的工作指向了一种更实际的方法，使这些用例更接近可行性。

细粒度手活动感知的一个明显用途是个人信息学[33]。手活动是一个细粒度的上下文通道，自然补充移动状态[9]。细粒度的活动追踪(例如，洗手、刷牙-图12，A&B)已被证明可以推动用户走向更健康的生活方式[16]，并激发个人反思和社会促进[22]。一个知道手在做什么的系统也可能有许多与健康相关的应用程序。例如，智能手表可以跟踪用户的打字行为，以防止重复性应变(RSI)[8]。同样地，智能手表也可以跟踪戒烟机制[11]中的吸烟情况，或监测建筑工人使用的工具，以防止手臂振动综合征(HAVS)[68][69]。老年人护理监测系统[19][59][68]也可以利用这个新的和微妙的信息源。

对自动技能评估[34][67]也有了有趣的研究。之前的工作包括音乐技能习得[78]，运动表演[52]和康复[4]。自动评估可以为现场反馈和技能水平的评估[67]创造机会。甚至有可能随着时间的推移检测技能退化，以及运动障碍如帕金森症。

最普遍的情况是，手的活动识别可以解锁更丰富的、上下文敏感的应用程序[14][38][39][44][58]。细粒度的手活动序列也可以用来推断更高层次的人类活动。例如，装满一个小桶，打开炉子，然后倒上水壶，可以表明用户喝了一杯茶。然而，如果手的活动发生在无序的地方(例如，倒注水煮沸前)，它可能暗示，例如，[40]痴呆的发作。手部活动在增强衡量人类可中断性[25][29]的方法方面也很有价值，例如在用户用刀切刀时延迟通知(图12C)。

我们相信，了解手参与什么活动来支持辅助计算经验是很有价值的。在本文中，我们研究了使用商品智能手表进行这种感知的可行性，这是实现这一愿景的一种即时实用手段。我们的探索从野外部署开始，最终以对照实验室研究告终。我们的分类管道在25个手部活动中显示了95.2%的准确率，并可以以86.3%的准确率拒绝未知的手部活动。在很高层次上，我们相信这些结果使上下文响应应用程序的前景更接近现实，特别是当我们的方法不需要外部基础设施或对象的工具时。