许多工作研究利用人类给出的评级或排名来加强学习， including Akrour et al. (2011), Pilarski et al. (2011), Akrour et al. (2012), Wilson et al. (2012), Sugiyama et al. (2012), Wirth and Fürnkranz (2013), Daniel et al. (2015), El Asri et al. (2016), Wang et al. (2016), and Wirth et al. (2016).

其他研究方向考虑了利用偏好而不是绝对奖励来加强学习的一般问题（Fürnkranz等人，2012年；Akrour等人，2014年）

利用人类偏好优化强化学习以外的环境（Machwe和Parmee，2006年；Secretan等人，2008年；Brochu等人，2010年；S?rensen等人，2016年）

遵循和遵循我们的算法Akrour等人(2012年) Akrour等人(2014年)的基本方法相同。他们考虑有四个自由度和小离散域的连续域，假设手工编码的奖励期望是线性的。不同的是，我们考虑了几十个自由的物理任务，没有手工特征 Atari 任务；环境的复杂性迫使我们使用不同的任务RL处理不同的算法和奖励模型 tradeoffs。一个显著的区别是，Akrour等人（2012年）Akrour等人（2014年）对整个轨迹而不是轨迹片段收集偏好。我们关心的是轨迹片段的偏好，因此，尽管我们收集了大约两个数量级以上的比较偏好，但实验需要的人类时间不到一个数量级以上。另一个主要差异是，为了应对非线性奖励模型和现代的 deep RL，我们改变了训练过程，例如使用异步训练和融合操作

我们的反馈启发方法与Wilson等人（2012）的做法密切相关。然而，Wilson等人（2012）假设奖励函数是到某个未知 “目标” 策略的距离（其本身是关于手动编码特征的线性函数）。他们使用贝叶斯推断来拟合这个奖励函数，而不是执行RL，他们使用目标策略的MAP估计来生成轨迹。他们的实验涉及从他们的贝叶斯模型中提取的 “合成” 人类反馈，而我们使用从非专家用户收集的反馈进行实验。目前尚不清楚Wilson et al（2012）中的方法是否可以扩展到复杂任务，或者它们是否可以与真实的人类反馈一起工作

MacGlashan等人（2017年）、Pilarski等人（2011年）、Knox和Stone（2009年）以及Knox（2012年）进行了涉及利用实际人类反馈进行强化学习的实验，尽管他们的方法不太相似。在MacGlashan等人（2017年）和Pilarski等人（2011年）中，学习只发生在训练人员提供反馈的情况下。这在如雅达利游戏等领域似乎是不可行的，为了在这些环境中学习一个高质量的策略，即使是最我们考虑的简单任务也需要提供数千小时的经验，这是非常昂贵的。TAMER（KNOX，2012；KNOX和Stand，2013）方法也致力于学习奖励函数，但是他们考虑了更为简单的设置，可以较快地学习所需的策略

我们的工作还可以视为合作逆强化学习框架 cooperative inverse reinforcement learning framework（Hadfield Menell等人，2016）的具体实例。该框架考虑了环境中人与机器人之间的两人博弈，目的是最大化人的奖励函数。在我们的设置中，人类只能通过陈述他们的偏好来与游戏互动

与之前的所有工作相比，我们的主要贡献是将人类反馈扩展到深度强化学习，并学习更复杂的行为。这符合将奖励学习方法扩展到大型深度学习系统的最新趋势，例如逆强化学习（Finn等人，2016年）、模仿学习（Ho和Ermon，2016年；Stadie等人，2017年）、semi-supervised skill generalization（Finn等人，2017年）和 bootstrapping RL from demonstrations（Silver等人，2016年；Hester等人，2017年）

我们考虑通过一系列步骤与环境交互的代理：在每个时刻 t t t，代理从环境中接收到一个观测 o t ∈ O o_t \in \mathcal{O} ot​∈O，然后向环境发送一个动作 a t ∈ A a_t \in \mathcal{A} at​∈A

在传统的强化学习中，环境会提供奖励 r t ∈ R r_t\in \mathbb{R} rt​∈R，而 agent 的目标是最大化累计折扣奖励。我们假设环境不能会产生奖励信号，取而代之的是有一个人可以表达轨迹片段之间的偏好。轨迹片段是观察和动作组成的序列 σ = ( ( o 0 , a 0 ) , ( o 1 , a 1 ) , . . . , ( o k − 1 , a k − 1 ) ) ∈ ( O × A ) k \sigma = \big((o_0,a_0),(o_1,a_1),...,(o_{k-1},a_{k-1})\big) \in (\mathcal{O\times A})^k σ=((o0​,a0​),(o1​,a1​),...,(ok−1​,ak−1​))∈(O×A)k。用符号 σ 1 ≻ σ 2 \sigma^1 \succ \sigma^2 σ1≻σ2 表示人类相比轨迹段 σ 2 \sigma^2 σ2 更偏好轨迹段 σ 1 \sigma^1 σ1。非正式地说，agent的目标是生成人类喜欢的轨迹，同时向人类发出尽可能少的查询

更准确地说，我们将从两个方面评估算法的行为：

1. 定量（Quantitative)：我们说偏好 ≻ \succ ≻ 是由奖励函数 r : O × A → R r:\mathcal{O\times A} \to \mathbb{R} r:O×A→R 产生的，当 ∑ i = 1 k − 1 r ( o i 1 , a i 1 ) > ∑ i = 1 k − 1 r ( o i 2 , a i 2 ) \sum_{i=1}^{k-1}r(o_i^1,a_i^1) > \sum_{i=1}^{k-1}r(o_i^2,a_i^2) i=1∑k−1​r(oi1​,ai1​)>i=1∑k−1​r(oi2​,ai2​) 时，有 ( ( o 0 1 , a 0 1 ) , . . . , ( o k − 1 1 , a k − 1 1 ) ) ≻ ( ( o 0 2 , a 0 2 ) , . . . , ( o k − 1 2 , a k − 1 2 ) ) \big((o_0^1,a_0^1),...,(o_{k-1}^1,a_{k-1}^1)\big) \succ \big((o_0^2,a_0^2),...,(o_{k-1}^2,a_{k-1}^2)\big) ((o01​,a01​),...,(ok−11​,ak−11​))≻((o02​,a02​),...,(ok−12​,ak−12​)) 如果人类的偏好是由一个奖励函数 r r r 产生的，那么我们的代理应该在 r r r 下得到一个高的总奖励。因此，如果我们知道报酬函数 r r r，我们就可以定量地评估代理人。理想情况下，代理将获得与使用RL优化 r r r 几乎一样高的回报
   • 注：在这里，我们假设奖励是关于观察和动作的函数。在 Atari 环境中的实验中，我们假设奖励是前面 4 次观察的函数。在一般的部分可观测的环境中，我们可以考虑依赖于整个观测序列的奖励函数，并用循环神经网络对该奖励函数进行建模
2. 定性（Qualitative）：有时我们没有定量地评估行为所需的奖励函数（在这种情况下，我们的方法也依然 work）。在这些情况下，我们所能做的就是定性地评估 agent 满足人类偏好的程度。在本文中，我们将从一个用自然语言表达的目标开始，展示代理试图实现该目标的轨迹片段视频，然后让一个评估人员根据 agent 完成该目标的程度来评估代理的行为

我们基于轨迹片段比较的模型与 Wilson et al.（2012）中使用的轨迹偏好查询非常相似，只是我们不假设我们可以将系统重置为任意状态，因此我们的轨迹片段通常从不同的状态开始。这使得解释人类的比较结果变得更为复杂，但我们表明，即使人类评分员不了解我们的算法，我们的算法也克服了这一困难

• 注：Wilson等人（2012年）还假设有能力对合理的初始状态进行采样。但是我们使用的是高维状态空间，对于这些高维状态空间，随机状态是不可到达的，并且预期的策略位于低维流形中

在每个时间点，我们的方法都维护一个策略 π : O → A \pi: \mathcal{O}\to \mathcal{A} π:O→A 和一个报酬函数估计 r ~ : O × A → R \tilde{r}:\mathcal{O\times A}\to \mathbb{R} r~:O×A→R ，这二者都由深层神经网络进行参数化

这些网络通过三个过程进行更新：

1. 策略 π \pi π 与环境相互作用产生一组轨迹 { τ 1 , τ 2 , . . . , τ i } \{\tau^1,\tau^2,...,\tau^i\} { τ1,τ2,...,τi}。 π \pi π 的参数通过传统的 RL 算法进行更新，以最大化预测奖励 r t = r ^ ( o t , a t ) r_t = \hat{r}(o_t,a_t) rt​=r^(ot​,at​) 的总和
2. 我们从第一步产生的轨迹 { τ 1 , τ 2 , . . . , τ i } \{\tau^1,\tau^2,...,\tau^i\} { τ1,τ2,...,τi} 中选择成对的轨迹片段 ( σ 1 , σ 2 ) (\sigma^1,\sigma^2) (σ1,σ2) ，并将其发送给人类进行比较
3. 映射 r ^ \hat{r} r^ 的参数通过监督学习进行优化，以适应迄今为止收集的人类比较

这些过程是异步运行的

1. 轨迹从流程（1）流向流程（2）
2. 比较偏好数据从流程（2）流向流程（3）
3. r ^ \hat{r} r^ 的参数从流程（3）流向流程（1）

以下各小节提供了这些过程的详细信息