1.3 发展机器人学的基本原则
由1.根据第一节的描述，发展心理学的理论对发展机器人学的研究领域产生了强烈的影响。正如所述，虽然开发机器人模型的建立更加强调环境和社会因素，但它仍然遵循基于先天主义和经验主义现象的相互作用。思考对生物和遗传因素的影响包括：成熟现象在机器人系统的身体和大脑中的作用，感受运动和心理功能获取的身体限制，以及内部动机和模仿和学习他人的本能。在发展机器人研究所考虑的经验主义和建构主义现象中，特别注重塑造发展中的情境学习和对社会和自身环境的贡献，以及获得在线、开放和积累的认知技能。此外，生物和环境因素以开放和动态的方式耦合，导致认知策略的阶段性定性变化，其中认知策略依赖于基因、身体相关性和学习现象的非线性动态系统的相互作用。
本书总结了一系列反映机器人自主心理发展设计的因素和处理过程，以及指导发展机器人实践的一般原则。这些原则的分类见表1-1，后续章节将进行简单的分析。
表1-1 发展机器人的原则和特点 则特 征1 作为动态系统的发展 分散的系统
自组织和涌现
多因果关系
嵌套时间刻度2 系统发展与个体发展的互动 成熟
关键期
学习3 涉身性和情境性的发展 涉身性
情境性
生成性
形态计算
扎根性4 社会学习的内在动机 内在动机
评价系统
模仿行为5 非线性和类似阶段的发展 定性阶段
U形条件6 在线开放式累积学习 在线学习
累积学习
跨模态
认知加速
1.3.1 作为动态系统的发展
动态系统是从数学和物理学中借用的一个重要概念，它极大地影响了人类发展的一般理论。在数学概念中，动态系统是随着时间的推移在相态之间产生复杂变化的系统，这些变化是系统变量之间多方面交互的结果。复杂的非线性交互导致系统不可预测的状态，通常称为出现状态。从发展心理学家，特别是发展心理学家的角度来看，出现状态的概念Thelen和Smith（1994；Smith和Thelen 2003年两位学者借来的概念将儿童的发展解释为内部和动态互动的产物。这种内部和动态的互动实际上与儿童成长过程中的身体、大脑和外部环境有关。因此Thelen和Smith提出儿童的发展应被视为复杂动态系统中的变化成长中的儿童可以通过与环境的互动产生新的行为，这些行为状态的稳定性在复杂系统中发生变化。
这一理论的一个关键概念是多因果关系，如爬行和行走，它们是由大脑、身体和外部环境的同步和动态结果决定的。Thelen和Smith以爬行和行走运动中的动态变化为例，儿童为了适应环境的变化而产生多因果关系的变化。当婴儿有足够的力量和协调能力，可以通过手掌和膝盖的某种姿势支撑身体，但不能直立行走时，婴儿只能使用爬行策略在环境中移动。然而，随着婴儿的成长，他们有更强壮、更稳定的腿部能力，以稳定的6站立和行走行为
～
7发展状态涌现出来，从而动摇并逐步取代爬行模式。这表明，与预定移动行为应该是各种分散因素自组织动态过程的结果，包括身体变化（更强壮的腿和更好的平衡）和身体对环境的适应性，而不是先控制爬行，然后控制行走等预定的、自上而下的通用控制发展路径。这就揭示了多个并行因素导致不同行为策略的多因果关系的原则。
Thelen和Smith动态系统发展理论的另一个关键概念是嵌套时间刻度。换句话说，神经和身体相关现象在不同的时间刻度中发挥作用，并以复杂和动态的方式影响发展。例如，时间刻度非常快的神经活动(毫秒)嵌套在时间刻度较慢的动态中，如动作反应时间(秒或数百毫秒)、学习反应时间(几小时或几天后)和身体生长反应时间(以月为单位)。
Thelen和Smith采用最着名的发展心理学例子“A多因果关系和嵌套时间刻度概念的联合效应是非B错误的。这个例子是受Piaget受永久的第一部分，玩具反复隐藏在位置A(右)盖子。实验结束时，实验者将玩具藏在位置B(左)一次，然后让被试婴儿找玩具。12个月以上的婴儿可以在正确的位置B找到玩具，但大多数8~10个月的婴儿会犯奇怪的错误，比如去位置A找物体。这个错误只在隐藏和抓取物体之间存在短暂停留时才会产生。Piaget等待心理学家根据年龄（阶段）差异来解释上述错误，同时动态系统的计算模拟模型（Thelen等人 2001)表明，多种分散因素(多因果关系)和时间操作(嵌套时间刻度)也会导致这种情况。例如，隐藏和捕物体之间的时间延迟，桌盖的属性，隐藏事件的显著性，婴儿过去的活动，婴儿的身体姿势。这些因素的系统操作导致了A非B错误案例的出现、停止和转变。
以动态系统实现方法为发展理论和身体、神经和环境因素的一般动态链接机制，对机器人和智能系统相关领域产生了重大影响（Beer 2000；Nolfi和Floreano 2000）。该理论已应用于关注早期运动发展的发展机器人模型中，如Mori和Kuniyoshi(2010)胎儿和新生儿的身体表征和一般运动的自组织模拟系统(2).5.3节）。同样，
8早期单词学习的发展机器人模型（Morse和Belpaeme等人，2010)也设计了类似的A探索身体因素与高级语言发展现象之间的动态交互过程(7).3节）。
1.3.2 系统发展与个体发展的互动
动态系统实现方法的讨论强调了不同时间刻度在发展过程中的重要性，包括个体发展现象在几个小时或几天的时间刻度学习，以及几个月或几年的时间刻度成熟的变化。考虑何时发展的时间刻度是系统发展的时间维度，换句话说，是发展过程中进化变化的影响。因此，在发展机器人模型中应考虑个体发展与系统发展现象交互的额外含义。
在本节中，我们将讨论成熟变化的重要性，因为它们与系统的发展变化密切相关。此外，学习新行为和技能的积累变化的影响将是1.3.5节和1.3.6节中讨论。
成熟是指儿童大脑和身体在解剖学和生理学上的变化，尤其是在生命的第一年。与大脑相关的成熟现象包括早期发育过程中大脑可塑性降低、半球逐渐专业化、修剪与神经元和连接的现象（Abitz等人2007）。大脑成熟的变化也用来解释学习过程中的关键时期。关键时期是指生物体生命期间的特定阶段（时间窗口）。在这些关键时期，生物个体对外部刺激更敏感，能够更有效地学习。然而，在一个关键时期结束后，学习将变得非常困难，甚至不可能再实现。动物行为学中最著名的关键时期（也称为敏感时期）的例子是Konrad Lorenz也就是说，雏鸭对鸭妈妈(或Lorenz）依恋的时机只能出现在生命的头几个小时，并产生长期的影响。在视觉研究方面，Hubel和Wiesel（1970）表明，猫只有在生命的头几个月暴露在视觉刺激中，视觉皮层才能发展其接受域，如果它通过覆盖眼睛剥夺猫的所有视觉刺激，它就无法发展接受域。语言学习的研究是发展心理学中最具研究价值的关键时期。Lenneberg（1967）是第一批提出语言发展关键时期假设的研究学者之一。假设认为，2~7岁之间的大脑变化是为了应对这个年龄后语言学习过程中的问题。这里的大脑变化特别是指在左半球逐渐引导语言功能偏差的大脑半球的特殊效应。关键假说也被用来解释人类在青春期后学习第二语言的缺陷（Johnson和Newport 1989）。虽然这个假设在文献中仍然被激烈讨论，但人们普遍认为，青春期前大脑成熟度的变化显著影响了语言学习的过程。9
从出生到青春，儿童身体的成熟显然是一种重要的形态变化。Thelen和Smith爬行和行走动作分析，这些形式的变化自然会影响儿童的运动发展。发展过程中发展过程中也对探索身体因素具有重要意义，如1.3.这些身体因素是形态计算的结果。
一些开发性机器人模型明确讨论了大脑和身体的成熟变化。Schlesinger、Amso和Johnson(2007)研究了神经可塑性在对象认知技能发展过程中的作用(4).5节)。关于身体形态发展的建模研究，在第四章中也广泛讨论了运动发展。
由成熟和学习引起的个体发展变化对进化引起的系统发展变化和互动具有重要意义。实际上，身体形态和大脑可塑性的变化可以解释为对不断变化的物种进化的适应性。所有这些现象都在研究中进行了分析。例如，影响个体发展现象时间的基因变化称为异常变化（McKinney和McNamara 1991）。异时分类是通过比较个体发展来实现的，用于区分不同增长的时机、增长时间的偏移以及器官或生物特征的增长率。换句话说，预位移和延迟位移分别对应于预测和延迟形式增长的时机，延迟发展和早期发展分别对应于延迟和早期增长时间偏移，加速成熟和幼成熟分别是指更快、更慢的增长率。在发展模型中，异时变化被用来解释先天中的复杂互动Elman在等人(1996)看来，遗传因素在发展中的作用决定了控制后续学习过程的系统结构限制。这些限制可以解释大脑适应性、神经发育和成熟的结果。
通过计算模型研究个体发展与系统发展因素之间的交互。例如，Hinton和Nowlan（1987）以及Nolfi、Parisi和Elman(1994)开发了模拟模型来解释学习在进化过程中的作用，即鲍尔温的作用。Cangelosi（1999）测试了在模拟机器人系统的神经网络架构进化过程中异时变化的作用。此外，为了满足系统发展和个体发展的需要，身体和大脑不同形式的进化建模也是进化发展生物学计算实现方法的目标。这一目标是在身体和大脑的形中建模发展和进化自适应的同步作用(如Stanley和Miikkulainen 2003；Kumar和Bentley 2003；Pfeifer和Bongard 007）。发展型机器人模型通常是10基于机器人固定形态的，而且发展型机器人模型不能直接处理系统发展变化与个体发展形态学变化的同步建模问题。然而，多种后成机器人研究模型思考了学习和成熟的个体发展变化的进化起源，特别是对大脑形态学变化进行了研究。
1.3.3 涉身性、情境性和生成性的发展
越来越多的实验和理论证据出现在三个方面的研究中：身体在认知和智力中（涉身性）的基础性作用；身体与其外部环境之间的交互作用（情境性）；生物体世界模型通过感觉运动的交互之后的自主生成（生成性）。这种涉身性、情境性和生成性的观点强调这样一个事实：儿童的身体（或者是配备传感器和执行机构的机器人身体）及身体与环境的交互决定了表征、内部模型和学习到的认知策略的类型。Pfeifer和Scheier（1999）指出：“智能不能仅仅以抽象算法的形式存在，而是需要一个实际的载体，也就是身体。”
在心理学和认知科学中，涉身认知（也叫作扎根认知）的研究范畴包括对认知行为与神经涉身性基础的探索，特别是针对作为认知功能（如记忆和语言）基础的动作、感觉与情感作用的探索（Pecher和Zwaan 2005；Wilson 2002；Barsalou 2008）。在神经科学中，脑成像研究表明，像语言能力这些高阶功能需要共享与动作处理有关联的神经基质（Pulvermuller 2003）。这种情况符合与涉身性意识（Varela、Thompson和Rosch 1991；Lakoff和Johnson 1999）以及情境性和涉身性认知（Clark 1997）有关的哲学设想。
在机器人技术和人工智能中，涉身性与情境性认知也非常强调涉身性智能的实现方法（Pfeifer和Scheier 1999；Brooks 1990；Pfeifer和Bongard 2007；Pezzulo等人2011）。Ziemke（2001）和Wilson（2002）的研究工作分析了涉身性的不同观点，并提出了在计算模型和心理学实验中的一些思考。这些不同的观点涵盖广泛，从将涉身性考虑成身体与外部环境之间的“结构耦合”现象，到将涉身性考虑成更严格的“生物体”。这个观点是基于生命系统自我生成理论的，也就是说，认知实际上就是生命系统能够做什么来与其外部事件进行交互（Varela、Thompson和Rosch 1991）。依照相似的思想，生成性范式特别强调一些重要因素，这些因素是指：与外部环境交互的自主认识系统可以发展出它自己对外部事件的理解，能够生成自己对外部世界工作过程的理解的模式（Vernon 2010；Stewart、Gapenne和Di Paolo 2010）。
涉身性与情境性智能大大影响了发展型机器人学，并且几乎在所有发展模型中都体现了对机器人11身体（和大脑）与外部环境之间的关系的重视。涉身性关注纯粹的运动功能（形态计算），也关注高阶认知能力，如语言（扎根的）。形态计算（Bongard和Pfeifer 2007）是指生物体可以通过探索身体形态属性（如关节类型、四肢长度、被动/主动驱动器）以及与物理环境（如重力）交互的动力学来产生智能行为。最著名的例子之一是被动动态行走机器人，也就是没有任何动力装置的双足机器人可以走上斜坡，它不需要任何精确的控制，仅需要最少驱动力就可以开始动作（McGeer 1990；Collins等人2005）。形态计算的探索对优化机器人的能耗以及更多地使用可兼容驱动器和柔性机器人材料都有着重要意义（Pfeifer、Lungarella和Iida 2012）。
另一方面，高阶认知功能中的涉身性作用的例子，包括动作与知觉的词组扎根模型（Cangelosi 2010；Morse和Belpaeme等人2010，见7.3节），以及心理学与发展型机器人中空间表征和数值认知之间的关系（Rucinski、Cangelosi和Belpaeme 2011，见8.2节）。
1.3.4 内在动机和社交学习的本能
传统设计智能体的方法通常受到两种限制：第一，目的或目标（即评价系统）通常是由建立模块的人类设计者强加的，而不是由智能体本身决定的；第二，学习往往受到狭隘的限制去完成一个特定的、预定义的任务。针对这些局限性，发展型机器人探索了那些具有内在动机的智能体和机器人的设计方法。内在动机驱动的机器人自己决定要学习什么，自己决定想要达成什么样的目标，以完全自主的方式对环境进行探索。换句话说，内在动机能使智能体建立自己的评价系统。
内在动机的概念受到了在婴儿和儿童时代早期最先发展的多种行为和技能的启发，这些行为与技能包括对好奇、惊奇、新奇的探寻，以及使动作行为更精确的驱使力等多种现象。Oudeyer和Kaplan（2007）提出一个框架来指导内在动机模型的研究，该框架包括两大类：①基于知识的方法（细分为基于新奇性和基于预测两种方法），②基于能力的方法。在这个框架中，他们对大量的算法进行了定义和系统化比较。
基于新奇性的内在动机实现方法通常使用移动式的机器人，这种机器人通过探索和发现不寻常或意想不到的特征来学习它们所处的环境。检测新奇性比较有效的机制就是习惯化：12机器人通过把当前感觉状态与过去的经验相比较，而将其注意力转移到那些独特的或与以往经验不相符的情况上（如Neto和Nehmzow 2007）。
基于预测的内在动机实现方法要依赖于知识的积累，所以属于基于知识的内在动机的第二类型。因而，基于预测的模型可以显式地尝试预测世界的未来状态。一个简单的例子是机器人向桌子的边缘推动一个物体，并预测这个物体掉到地板上时会发出声响。这种方法的基本原则是不正确或不准确的预测可以被当作一种需要学习的信号，也就是说，那些不正确或不准确的预测表示机器人对当前事件了解甚少，还需要进一步分析和关注。作为这种方法的一个例子，Oudeyer等人（2005）描述了游乐场实验，在实验中，索尼AIBO机器人学习探测环境中的玩具并与其交互。
第三个内在动机的建模实现方法是基于能力的。根据这一观点，机器人是有目的地探索和开发那些能有效产生可靠结论的技能。基于能力的实现方法的一个关键因素是后效感知：这是检测一个人的行为何时对环境产生影响的能力。基于知识的实现方法是激励智能体去发现世界的属性，相比之下，基于能力的实现方法是激励智能体去探索它能对世界做什么。
儿童发展研究表明了社交学习能力（本能）的存在。比如新生儿刚出生就具有模仿他人行为的本能，并且还能够模仿复杂的面部表情（Meltzoff和Moore 1983）。此外，比较心理学研究已经证明，18～24个月大的儿童开始体现出无私的合作能力，而这种能力在黑猩猩中是观察不到的（Warneken、Chen和Tomasello 2006）。
正如我们将在第3章强调的，内在动机的发展直接影响婴儿如何感知他人并如何与他人互动。例如，婴幼儿能迅速明白自己环境中的其他人会偶尔回应他们的动作和声音。因此，婴儿可能是由内在动机驱使着去面对他人并与他人进行互动的。
第6章中所讨论的许多研究表明，发展型机器人特别强调社交学习的重要影响，该章还对许多具有联合注意力、模仿与合作能力的机器人模型进行了测试。
1.3.5 非线性、类似阶段化的发展
在有关儿童心理学的文献中，有很多研究工作提出了一系列发展阶段的理论和模型。每个发展阶段是根据特定行为和心理策略的获取方式来划分的，随着儿童历经这些阶段的发展，
13这些策略会变得更加复杂并且清晰。除了个体差异，这些发展阶段也与儿童的特定年龄阶段相对应。Piaget关于发展的四个阶段思想就是专门针对阶段化发展理论的典型例子（第8章）。现有的研究中也包含了许多其他基于阶段发展的案例，其中一些案例将在后面的章节中叙述，例如：Courage和Howe（2002）自我感知的时间刻度（第4章），Butterworth（1991）的联合注意力中的四个阶段，Leslie（1994）和Baron-Cohen（1995）的心智理论中的阶段（第6章），词汇与语法技能的顺序获取（第7章），以及数值认知和拒绝行为中的阶段（第8章）。
在大多数理论中，阶段间的过渡遵循非线性、定性的转变。在Piaget的发展四个阶段的案例中，每个阶段所采用的心智图式是存在定性区别的，因为那些心智模式是认知调整过程的产物，在调整过程中，需要为新知识的表征和操作而改变和适应图式。另一个著名的基于发展过程中定性变化的发展理论就是Karmiloff-Smith（1995）的表征重述模型。尽管Karmiloff-Smith明确避免使用在Piaget理论中出现的由年龄决定的阶段模型的定义，但是她的模型假定了从隐式表征的使用到不同程度显式知识表征策略的四个发展层次。当学习特定领域的新情况和新知识时，儿童发展出新的表征方法，这些表征能逐渐被重新描述，并逐渐增加孩子对世界的清晰理解。表征重述模型已经应用于物理、数学和语言等各种知识领域。
通过“U形”学习错误模式并结合词汇突增现象，人们对发展过程的非线性和在不同发展阶段儿童的心智策略与知识表示的定性转变都进行了广泛的探索。在儿童发展过程中，儿童在获得英语动词形态的过去时态能力时会产生很多模式错误，而U形现象典型案例的研究就是针对这些模式错误的。（倒）U形现象包含了初始学习中的低错误生成率，随之而来的是一个意想不到的错误率增长，在这之后又出现较好的表现和较低的错误生成率。在英语过去时态学习中，儿童在最初学习的时候仅产生很少的错误，比如他们能正确地说出高频不规则动词过去式，如“went”和正确的“ed” 规则动词的后缀形式。在稍后的过程中，儿童会经历一个“过度规律化”的阶段，并开始产生不规则动词的形态错误，如“goed”。但最终，儿童可以再次区分不规则动词过去时态的多种形态。心理学对这一现象进行了广泛研究，并且，这一现象还在基于规则的句法处理策略（Pinker和Prince 1988）的支持者和分布式表征策略的支持者之间引起了激烈辩论。其中，研究者使用了分布式表征的联结主义
14网络可以产生U形现象这一实验结果来支持分布式表征策略的方法（如Plunkett和Marchman 1996）。U形学习现象在其他领域也有报道，比如语音感知（Eimas等人1971；Sebastián-Gallés和Bosch 2009）、面部模仿（Fontaine 1984）以及Karmiloff-Smith（1995）用来解释由变化的表征策略引起的那些儿童行为和产生的错误。
出现在词汇获得过程中的词汇量突增现象是发展过程中非线性和定性改变的另一个例子。词汇量突增（也称为“命名爆炸”）发生在18～24个月大的时期，在这段时期中，儿童从每月仅能学会少量词组的缓慢词汇学习的初始模式，切换到到快速映射策略模式，即以每周几十个单词的速度进行快速学习（如Bloom 1973；Bates等人1979；Berk 2003）。词汇量突增通常发生在当儿童学会了大约50～100个单词的时期。在词组学习中的这种策略变化是由各种潜在的认知策略导致的，这些认知策略包括在词汇检索中对词组拆分或活用能力的掌握（Ganger和Brent 2004）。
许多发展型机器人研究的目标是在机器人发展过程中对阶段化的过程进行建模，并且有些研究直接将发展阶段中的非线性现象问题处理成学习动态过程的产物。比如Nagai等（2003）对由Butterworth（1991）提出的联合注意力阶段化进行显式建模。然而，这个模型显示：在这些阶段之间的定性变化是机器人神经与学习体系结构逐渐变化的结果，而不是为机器人注意策略专设的操作过程（见6.2节）。还有一些模型也直接对U形现象进行了建模，如Morse 等人（2011）的语音处理错误模式的模型。
1.3.6 在线开放式累积学习
人类发展的特点是在线的、多模态的、连续的、开放式的学习。在线学习指的是学习是发生在儿童与环境交互过程中的，而不是离线模式的。多模态指的是不同模式与认知域是在儿童与其他儿童交互过程中并行获得的。例如，在1.3.3节关于涉身性的讨论中，感觉运动与语言能力之间的相互作用就是一个很好的证明。连续和开放式指的是学习和发展不会在特定的阶段才开始和停止，而是形成终身式的学习。事实上，发展心理学这门学科就是构建在从出生到衰老整个生命周期的更广泛的心理学领域中的。
终生学习意味着儿童不断地积累知识，因此学习永远不会停止。正如前面内容所述，这种连续学习
15和知识的积累会导致认知策略的定性变化，如在语言词汇量突增现象中，以及在由Karmiloff-Smith实现的通过表征重述模型的从隐式到显性知识转变的理论。
开放式累积学习的结果之一就是认知引导。在发展心理学中，认知引导被广泛地应用于数值认知（Carey 2009；Piantadosi、Tenenbaum和Goodman 2012）。根据这一理念，儿童可以从学习过的概念（如数值量和计算方式）中获得知识和表征方式，然后归纳使用这些知识并以更高的效率来定义随后学习到的新的数字词汇的含义。同样的想法可以应用到词汇量突增现象，其中，在最初的50～100个单词的缓慢学习过程中所获得的知识和经验导致了单词学习策略的重新定义。此外，类似的想法也用于语法引导：通过语法引导，儿童可以使用动词学习过程中的句法线索和词组上下文关系来确定新的动词的含义（Gleitman 1990）。Gentner（2010）也提出通用的认知引导是通过对类比推理的使用和符号关系知识的获取来实现的。
在线学习已经广泛应用于发展型机器人系统中，并且下一章中出现的大多数研究都会对在线学习的实现进行演示。然而，导致认知引导现象的多模态、累积、开放式的学习应用却很少探及。大多数现有模型通常只关注单个任务或单个模态（感知、语音或语义等）的获取，很少考虑并行发展以及多模态与认知功能之间的交互。因此，真正的在线的、多模态的、累积的、开放式的发展型机器人建模方法的研究仍然是该领域的一个根本性挑战。
发展型机器人模型和实验的各种案例综述将展示上述那些原则如何指导认知结构的设计，并说明发展型机器人的实验设置。