人机交互是一门关于设计、评估和实现交互式计算机系统，并围绕这些主要现象进行研究的学科

广义上说，人机交互是基于实现自然、高效、和谐的人机目的，与之相关的理论和技术属于计算机科学、心理学、认知科学和社会学的研究范畴交叉学科

研究开发新的人机交互设备、技术和理论，实现以用户为中心的交互式计算机系统，提高人类创造力，解放人脑，改善人与人之间的沟通与合作

从技术上讲，它是研究人与计算机之间的信息交换，主要包括人与计算机之间的信息交换：

人机交互与认知心理学、人机工程学、多媒体技术与虚拟现实技术密切相关

• 认知心理学和人机工程学是人机交互技术的理论基础
• 多媒体技术与虚拟现实技术与人机交互技术交叉渗透

人与计算机相互适应的发展过程经历了多个阶段：

命令行→图形用户界面→自然和谐的互动

• 图形用户界面

感觉和知觉是两个不可分割的基本心理过程

定义不同

• 感觉是人脑对直接作用于感觉器官的客观事物的感觉个别属性的反映
• 知觉是人脑对直接作用于感官的事物的认知整体认识,它是一系列组织和解释外部对象和事件感觉信息的处理过程

具体内容不同

• 感觉是对事物个人属性的反映
• 知觉是事物个别属性之间的关系、联系和整体反映

不同的生理机制

• 感觉是单一分析器活动的结果
• 感知是分析复杂刺激物或刺激物之间关系的综合结果
• 感觉的产生取决于客观事物的物理属性。同样的刺激会引起同样的感觉
• 知觉不仅取决于客观事物的物理属性，还取决于知识经验、心理状态、个体特征等知识者自身的特点

它们都是对客观事物的反映，属于认知过程的感性阶段来源是客观现实

这些都是对客观事物的直接反映。只有当客观事物作用于感官时，感知才会产生，当事物消息时，感知才会消失

感觉是感觉的基础，感觉是感觉的有机组成部分，是感觉的基本条件

知觉是一种高于感觉的心理活动，但它不是感觉的简单总和

知觉是感觉的深度和发展

平衡内部和外部刺激.感觉通过视觉和听觉接受外部世界的刺激，为我们的身体和环境提供了内外环境的信息

• 红花是感觉；梦中的大海，迷人的花，海市蜃楼不是感觉

人对客观世界认知过程的开始

一切复杂心理活动的基础

维持正常心理活动的必要条件

视觉错觉是基于经验主义或不当参考的错误判断和感知

• 尺寸错觉：根据深度线索或环境信息对同一区域、长度和体积的物体进行不同的认知
  • 缪勒莱耶的觉
• 细胞错觉：由于视觉神经功能相似的神经元能相似，误解了刺激的亮度、颜色和方向模式，包括视觉后像
  • (亮度错觉)
• 形状和方向错觉
• 轮廓错觉：图像边缘梯度信息和环境认知错误
  • (背景错觉，知觉模糊)
• 不可能产生错觉对局部结构的合理理解缺乏客观的图形
  • (梯形不可能，三角形不可能)
• 运动错觉：结合环境线索判断运动刺激的错误方向，或静态感知运动状态的错觉
  • (循环蛇)

视觉错觉表明事物的实际在的形式与人脑反映的差异

观察者角度的变化

在复杂的环境中，人们不能在某个时刻感知到很多事情，但总是有选择地把某件事作为感知对象，同时把其他事情作为感知背景——区分背景和对象

• 知觉对象：选择处理的信息
• 知觉背景：将其他同时作用于感觉器官的刺激信息转化为知觉背景
• 两者可以相互转化

影响选择性的因素

• 客观刺激物本身的特征
  • 客观事物强度大，对比明显，容易成为个体的知觉对象
  • 接近空间，连续，客观刺激的形状很容易成为感知对象
  • 在相对静止的背景下运动的客观事物很容易成为知觉对象
  • 客观事物维度变化多的刺激,容易成为知觉对象
• 主观因素主观因素
  • 知觉者的需求和动机、愿望和要求、现有的知识和经验等

事物本身的变化

人们根据自己的知识和经验，将直接作用于感官客观事物的各种属性整合到统一的组织加工过程中

• 个体优先加工整体水平，然后加工局部水平
• 知觉的完整性也体现在对整体的部分依赖上

由不同部分组成的知觉对象具有不同的属性.然而，人们并不把感知对象感知为个别孤立部分，而是总是把他感知为一个统一的整体.

• 根据个别属性或部分特征感知熟悉的对象，根据经验判断其他特征,从而产生整体感知
• 在有这样的经验的情况下，提高了人们的知觉能力(前提)

格式塔心理学

当感知对象是一个没有经验或不熟悉的特征和元素时，感知更多地转移感知对象的特征，并将其组织成一个具有一定结构的整体，即感知的组织.

当视觉中出现不完整的因素时，视觉系统往往会将其完整，形成相对简单、稳定、正式的图形

简单的法律-视野中有简单结构的部分，容易形成图形

• 简单的图形组合不被视为复杂的图形组合

相邻律-相似距离的物体很容易组织在一起

• 界面设计，同样的元素放在一起，不需要额外的线框

物理属性(颜色、形状、纹理)相似的物体容易组织在一起

• 消除游戏；五子棋

连续律-倾向于将经历最小变化或最小阻断的直线或光滑曲线感知为一个整体

• 手写输入帕金森病人，IBM logo

闭合律倾向于补充缺陷的轮廓，使知觉完全封闭

• 虚线图形—

视野中对称的部分容易形成整体图形

协变律—同一运动趋向的元素会被归在一起

观察者的变化

在知觉过程中，人们不是被动地写下知觉对象的特征，而是根据过去的知识和经验，努力解释知觉对象，使其具有一定的意义

• 知觉过程可视为假设检验过程.
• 本质是旧经验与新刺激建立多维、多层次的联系，以确保全面、深刻的理解
• 理解也有助于知觉的选择性和完整性（因为它们都依赖于经验）
• 知识经验是理解过程中的关键

x光图对于不懂的人没有义;对于医生来说可以看出病变

观察条件的变化

当客观条件在一定范围内改变时,人的知觉映像在相当程度上却保持着他的稳定性

• 形状恒常性—对物体形状的知觉不因他在视网膜上投影的变化而变化
• 大小恒常性—在一定范围内,个体对物体大小的知觉不完全随距离变化而变化,也不随着视网膜上视觉图像大小的变化
• 明度恒常性—当照明条件改变时,人知觉到的物体相对明度保持不变
• 颜色恒常性—有颜色的物体当其表面颜色受到照明灯条件的影响而改变时,个体对颜色的知觉不因色光改变而改变,趋于保持相对不变

知觉恒常性是可影响的,影响种子蕨恒常性最重要的因素是视觉线索,即环境中的参照物

文本输入:键盘,手写输入设备—手写板

图像输入:扫描仪(二维,三维),摄像头

在运动物体的关键部位设置跟踪点,由系统捕捉跟踪点在三维空间中运动的轨迹,再经过计算机处理后,提供给用户物体的运动数据

在动画制作中，动画师可以将数据与动画角色合成，生成动画，然后很方便地在计算机中调整、控制运动的物体。动捕系统基本工作原理

• 应用领域远远超出了动画制作，并在虚拟现实、游戏、人体工程学研究、模拟训练、生物力学研究等
• 分为机械式,电磁式,光学式

依靠机械装置来跟踪和测量运动轨迹.利用可伸缩的机械结构安装于捕捉物体上,以取得各部分的运动量.

优点

• 捕捉范围大
• 成本低,便宜
• 精度相对较高
• 可以做到实时数据测量
• 数据的捕捉相对简单
• 感应器不会闭塞
• 可以对多个对象进行同时捕捉

缺点

• 硬件笨重,使用不便
• 系统样本速率低
• 系统对人体骨骼有制约
• 较难用于连续动作的实时捕捉
• 巨大缺陷—依靠电位计的系统不能测量空间的位移

利用计算机视觉原理,通过两部摄像机,对目标上特定光点进行监视和跟踪

包括动作捕捉镜头,数据采集网络,用于数据处理的高性能工作站

优点

• 表演者活动范围大,无电缆,机械装置的限制,表演者可以自由表演,使用方便
• 采样速率高,可以满足多数高速运动测量的需要

缺点

• 系统价格昂贵,后处理工作量大
• 对场地光照,反射有要求
• 运动复杂时需要人工干预后处理过程

• 深度流—骨骼跟踪
  • 深度成像,用户数据分割,骨骼跟踪
• 颜色数据流—身份识别
  • 人脸识别,动作识别
• 音频流—语音识别处理
  • 音频处理(回声,噪声),定位,语音识别

在多通道交互中,用户使用语音,手势,眼神,表情等多种方式与计算机系统进行通信.主要研究多通道交互界面的表示模型,评估方法以及多通道信息的融合等

根据交互设备的性能及优缺点,根据系统需要选择交互设备,设计支持多通道的人机交互系统

根据用户界面的具体形式

• 批处理
• 联机终端(命令接口)
• 文本菜单
• WIMP界面
• 多媒体用户界面
• 多通道用户界面和虚拟现实用户界面

根据用户界面中信息载体的类型

• 文字为主的字符用户界面(CUI)
• 二维图形为主的图形用户界面(GUI)
• 多媒体用户界面

根据计算机输出信息的形式

• 以符号为主的字符界面
• 以视觉感知为主的图形用户界面
• 兼顾听见感知的多媒体用户界面
• 综合运用多种感观的虚拟现实技术

根据人机界面中的信息维度

• 一维信息—文本流,如早期的电传式终端
• 二维信息—二维图形技术,利用色彩,形状,纹理等
• 三维信息—三维图形技术,但显示技术以二维平面为主,和多维信息—多通道的多维信息

人机交互中采用的语言

• 形式语言—人工语言,特点是简介,严密,高效
• 类自然语言—介于计算机和自然语言之间
• 自然语言

确定平面坐标

• 直接定位—使用定位设备指定位置
• 间接定位—使用定位设备的运动控制屏幕上的映射光标

输入设备

• 直接—光笔,触摸屏
• 间接—鼠标,光杆,操纵杆,方向键

输入一组顺序的坐标点,多次定位输入

• 方式—直接,间接
• 设备—鼠标,轨迹球,图形输入板

定值\数值输入,用于设置比例因子,角度等

单个元素选择—在选择集合中选出一个元素,通过注视,指点或解除等

区域选择—选择一组元素或一个区域,通过区域选择工具

• 选框,套索等

输入方式

• 键盘,手写,语音等

设备

• 键盘,光笔,声音识别器等

用户输入文本命令,系统以文本的形式响应

缺点

• 界面和应用没有分开
• 用户需要记忆命令,且输入命令需遵循语法规则
• 界面不友好,难以学习,交互自然性差

优点

• 适合熟悉专业用户使用,工作效率高

用户在有限选项中识别和选择

缺点

• 菜单层次过多,选项过于复杂,用户必须逐级选择,不能一步到位,交互过程慢

及WIMP界面,由窗口,图标,菜单,指点设备四位一体,形成桌面

特点—以窗口管理系统为核心,使用键盘鼠标作为输入设备

• 窗口管理系统基于可重叠多窗口管理技术,以事件驱动技术为核心

• 桌面隐喻
  • 在用户界面使用人们熟悉的桌面上的图例清楚地表示计算机可以处理的能力
    • 图形具有一定的文化和语言独立性,可以提高搜索目标的效率
    • 可以代表对象,动作,属性或其他概念
  • 表现方法—静态图标,动画,视频
  • 分类
    • 直接隐喻—隐喻本身就带有操纵的对象
    • 工具隐喻—代表所使用的工具
    • 过程隐喻—其通过描述操作的过程来暗示该操作
  • 实例—Windows桌面图标,用垃圾桶,PC等表示文件回收站和本机的文件系统
• 所见即所得(WYSIWYG)
  • 显示的用户交互行为和应用程序最终产生的结果是一致的
  • 弊端
    • 若屏幕的空间或颜色配置方案与硬件设备提供的配置不匹配,二者之间就难以正确匹配
• 直接操纵
  • 基本思想—可以把操作的对象,属性,关系显式的表示出来,用光笔,鼠标,触摸屏或数据手套等指点设备直接从屏幕上获取形象化命令与数据的过程
  • 直接操纵的对象—命令,数据或是对某种数据的操作
  • 工具—屏幕坐标指点设备
  • 特性

    • 直接操纵的对象是动作或数据的形象隐喻

      系统将真实世界人们熟悉的的对象和操作复制并呈现在屏幕上,人们得以关注于数据本身

    • 用指点和选择代替键盘输入

    • 对象和操作一直可见

    • 支持逆向操作

  • 优点
    • 借助形象的表示,而不是单纯的文字或数值;依赖于视觉和手动控制的参与,可以直接操作,有利于解决问题和进行学习
  • 缺点
    • 不具备命令语言界面的某些优点.设计图形繁琐等
    • 表示复杂予以,抽象予以比较困难
  • 潜在的问题：
    • 用户必须知道一个可视化对象表示的意义是什么
    • 真实世界的可视化表示可能令人误解
    • 对某些操作，键盘可能是最有效的直接操作设备，所以用鼠标或手指指向图标实际上可能比使用键盘慢
    • 为真实世界中的对象和动作选择合适的表示不是一项简单容易的任务

重要思想举例及反例

• office工具软件的可选功能,通过桌面隐喻表示其功能和操作;网站菜单栏通过文字而非图例描述功能
• word或一些markdown文本处理器能将用户输入文本呈现出来;对于一些普通的文本处理器如notepad,对于用户输入的文本控制代码不能看到最后的输出结果
• 图编辑工具中,可以直接拖拽图形,进行绘图;早期的一些游戏机必须通过专门的旋转按钮操纵角色左右或上下移动

目的是消除当前WIMP/GUI用户通信宽带不平衡的瓶颈

• 综合使用视线,语音,手势等新的交互通道,设备和交互技术
• 使用户利用多个通道以自然,并行,协作的方式进行人机对话
• 整合来自多个通道的,精确和不精确的输入来捕捉用户交互意图,提高人机交互的自然性和高效性

研究目标

• 自交互的自然性,高效性
• 与传统用户界面兼容

主要解决的问题

• 科学计算可视化,虚拟现实对计算机系统提出的高效,三维和非精确的人机交互要求
• 用户可以用自然的交互方式,语音,手势,眼神等协同交互,通过交互通过串行\并行,互补\独立的关系提高交互的自然性和高效性

基本特点

• 使用多个感觉和效应通道
  • 感觉通道侧重多媒体信息的接收;效应通道侧重于交互中的控制于信息输入
  • 一种通道不能充分表达用户意图时,使用辅助通道增强表达力
  • 允许并行协作的通道配合关系
• 允许非精确的交互
  • 可以使用贴近日常生活习惯的模糊表达,以充分性代替精确性
• 三维和直接操纵
  • 人类大多数活动都要三维和直接操纵的特点,并且人们希望看到这种控制的结果,人机交互反应了这种本质特点
• 交互的双向性
  • 感觉通道和效应通道都具有双向性的特点,避免生硬不自然的通道切换,提高自然性
• 交互的隐含性
  • 不需要显示说明交互成分,而是在交互过程中隐含说明

通过调整用户行走时的视觉感知,使用户能够通过小范围的现实空间,漫游大范围的虚拟空间

重置技术

当用户与实际空间边界碰撞时,对用户移动方向进行调整,重新向实际空间内部移动

• 冻结-折返
  • 用户靠近边界时,暂停系统对用户位置的追踪,保持对转向的追踪,使用户沿着来时方向向后折返,直到抵达充值方法计算好的目标位置后,恢复位置最终
• 冻结-转向
  • 用户靠近边界时,暂停对用户身体旋转和位置的追踪,此时用户视野静止,用户位置不变转向180°后,恢复追踪,画面开始,重新开始漫游
• 2:1-转向
  • 用户靠近边界时,暂停对用户身体位置的追踪,用户视野正常,用户转向180°,同步更新用户视野,使其转向360°后,恢复位置追踪

可用性目标是用户体验目标的基础;离开了可用性目标,产品将会是无源之水;离开了用户体验目标,产品不会令人愉快和满意

• 有效性,效率,满意度

有效性

• 准确有效的完成工作

效率

• 快速的完成工作

吸引力

• 用户界面如何信息用户进行交互并在使用中得到满意和满足

容错能力

• 产品避免错误的发生并帮助用户修正错误的能力

易于学习

• 支持用户的入门使用和使用中的持续学习

灵活性,易学性

体现为用户能不能成功达到交互目标和能不能对达到的目标进行评估

• 可观察性—用户可以通过观察交互界面表现了解内部状态
• 可恢复性—用户意识错误并更正的能力
• 响应性—响应时间只系统对状态改变做出反应的延迟时间
• 任务规范性—系统为完成交互任务提供的功能是否规范

交互系统的动机与目标

主要共享

系统设计与实现

• 硬件环境—种类,组装
• 系统设计与具体实现—流程图,技术细节等

专家进行评估

• 用户模型法
• 启发式评估
• 认知性遍历
• 行为分析

用户进行评价

• 放声思考法
• 用户测试
• 问卷调查
• 访谈

• 测试目的
• 实验假设
• 测试方法
  • 参与者选择
  • 实验设计
  • 测试环境和设备
  • 测量工具
  • 测试流程
• 测试评价和结果分析
  • 统计分析方法
  • 分析结果
  • 是否支持假设
• 形成测试报告

样本选择

• 简单随机抽样
• 方便抽样

研究设计

• 被试间设计—每个被试只接受一个实验条件的处理,另一个组使用另一种条件
• 被试内设计—每个组都接收所有自变量水平的测试
• 混合设计

处理顺序效应—ABBA法

• 问卷或量表
• 行为测试—设备与指标
• 生理测试—设备与指标