[外链图片存储失败，源站可能有防盗链机制，建议保存图片直接上传(img-sG1oATCa-1603206541533)(img/1.1.png)] **强化学习讨论的问题是一个 智能体(agent) 如何在复杂不确定的环境中(environment)它极大化它能获得的奖励。**示意图由两部分组成：agent 和 environment。在强化学习的过程中，agent 跟 environment 一直在互动。Agent 在环境中获得状态，agent 会利用这个状态输出一个 action，一个决策。然后这个决定会放在环境中，环境会通过这个 agent 决策，输出下一个状态和当前决策的奖励。Agent 的目的就是为了尽可能多地从环境中获取奖励。

[外链图片存储失败，源站可能有防盗链机制，建议保存图片直接上传(img-21kTIMey-1603206541536)(img/1.2.png)]

对比强化学习和监督学习。 supervised learning。以图片分类为例。监督学习意味着我们有很多校准数据，如汽车、飞机和凳子。这些图片应该得到满足 i.i.d 分布是它们之间没有关联的分布。然后我们训练一个分类器，比如右边的神经网络。为了区分这张照片是车辆还是飞机，我们在训练过程中真实 label 给了这个网络。当网络做出错误的预测时，比如现在输入汽车的图片，它预测是飞机。我们会直接告诉它，你的预测是错误的，正确的 label 应该是车。然后我们把这个错误写成一个错误损失函数(loss function)，通过 Backpropagation 训练这个网络。因此，在监督学习的过程中，有两个假设，

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZHs0C88n-1603206541545)(img/1.18.png)] 接下来我们讲序列决策(Sequential Decision Making)过程。强化学习研究的问题是 agent 跟环境交互，上图左边画的是一个 agent，agent 一直在跟环境进行交互。这个 agent 把它输出的动作给环境，环境取得这个动作过后，会进行到下一步，然后会把下一步的观测跟它上一步是否得到奖励返还给 agent。通过这样的交互过程会产生很多观测，agent 就是为了从这些观测之中学到能极大化奖励的策略。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nOYB4Wzo-1603206541546)(img/1.19.png)] 奖励是由环境给的一个反馈信号，这个信号指定了这个 agent 在某一步采取了某个策略是否得到奖励。强化学习的目的就是为了极大化 agent 可以获得的奖励，agent 在这个环境里面存在的目的就是为了极大它的期望积累的奖励。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xH4EKgXe-1603206541547)(img/1.20.png)]

这里给大家举一些奖励的例子。不同的环境，奖励也是不同的。

• 比如说一个下象棋的选手，它的目的其实就为了赢棋。奖励是说在最后棋局结束的时候，他知道会得到一个正奖励或者负奖励。
• 羚羊站立也是一个强化学习过程，它得到的奖励就是它是否可以最后跟它妈妈一块离开或者它被吃掉。
• 在股票管理里面，奖励定义由你的股票获取的收益跟损失决定。
• 在玩雅达利游戏的时候，奖励就是你有没有在增加游戏的分数，奖励本身的稀疏程度决定了这个游戏的难度。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KqHRBxat-1603206541547)(img/1.21.png)]

在一个强化学习环境里面，agent 的目的就是为了选取一系列的动作来极大化它的奖励，所以这些采取的措施必须有长期的影响。但在这个过程里面，它的奖励其实是被延迟了，就是说你现在采取的某一步决策可能要等到时间很久过后才知道这一步到底产生了什么样的影响。这里一个示意图就是我们玩这个 Atari 的 Pong 这个游戏，你可能只有到最后游戏结束过后，才知道这个球到底有没有击打过去。中间你采取的 up 或 down 行为，并不会直接产生奖励。强化学习里面一个重要的课题就是近期奖励和远期奖励的一个 trade-off。怎么让 agent 取得更多的长期奖励是强化学习的问题。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Lhocy2dG-1603206541547)(img/1.22.png)] 在跟环境的交互过程中，agent 会获得很多观测。在每一个观测会采取一个动作，它也会得到一个奖励。所以历史是观测、行为、奖励的序列： H t = O 1 , R 1 , A 1 , … , A t − 1 , O t , R t H_{t}=O_{1}, R_{1}, A_{1}, \ldots, A_{t-1}, O_{t}, R_{t} Ht​=O1​,R1​,A1​,…,At−1​,Ot​,Rt​ Agent 在采取当前动作的时候会依赖于它之前得到的这个历史，所以你可以把整个游戏的状态看成关于这个历史的函数： S t = f ( H t ) S_{t}=f\left(H_{t}\right) St​=f(Ht​) Q: 状态和观测有什么关系?

A: 状态(state) s s s 是对世界的完整描述，不会隐藏世界的信息。观测(observation) o o o 是对状态的部分描述，可能会遗漏一些信息。

在 deep RL 中，我们几乎总是用一个实值的向量、矩阵或者更高阶的张量来表示状态和观测。举个例子，我们可以用 RGB 像素值的矩阵来表示一个视觉的观测，我们可以用机器人关节的角度和速度来表示一个机器人的状态。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SBFg8HWs-1603206541548)(img/1.23.png)] 在 agent 的内部也有一个函数来更新这个状态。当 agent 的状态跟环境的状态等价的时候，我们就说这个环境是 full observability，就是全部可以观测。换句话说，当 agent 能够观察到环境的所有状态时，我们称这个环境是完全可观测的(fully observed)。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tJx8ptWx-1603206541548)(img/1.24.png)] 但是有一种情况是 agent 得到的观测并不能包含所有环境运作的状态，因为在这个强化学习的设定里面，环境的状态才是真正的所有状态。比如 agent 在玩这个 black jack 这个游戏，它能看到的其实是牌面上的牌。或者在玩雅达利游戏的时候，观测到的只是当前电视上面这一帧的信息，你并没有得到游戏内部里面所有的运作状态。也就是说当 agent 只能看到部分的观测，我们就称这个环境是部分可观测的(partially observed)。在这种情况下面，强化学习通常被建模成一个 POMDP 的问题。

不同的环境允许不同种类的动作。在给定的环境中，有效动作的集合经常被称为动作空间(action space)。像 Atari 和 Go 这样的环境有离散动作空间(discrete action spaces)，在这个动作空间里，agent 的动作数量是有限的。在其他环境，比如在物理世界中控制一个 agent，在这个环境中就有连续动作空间(continuous action spaces) 。在连续空间中，动作是实值的向量。

例如，

• 走迷宫机器人如果只有东南西北这 4 种移动方式，则其为离散动作空间；
• 如果机器人向 36 0 ∘ 360^{\circ} 360∘ 中的任意角度都可以移动，则为连续动作空间。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MbsnGB9p-1603206541549)(img/1.25.png)] 对于一个强化学习 agent，它有如下组成成分：

• 首先 agent 有一个 policy function，agent 会用这个函数来选取下一步的动作。

• 然后它也可能生成一个价值函数(value function)。我们用价值函数来对当前状态进行估价，它就是说你进入现在这个状态，可以对你后面的收益带来多大的影响。当这个价值函数大的时候，说明你进入这个状态越有利。

• 另外一个组成成分是模型(model)。模型表示了 agent 对这个环境的状态进行了理解，它决定了这个世界是如何进行的。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fi3W40Fs-1603206541549)(img/1.26.png)] 我们深入看这三个组成成分的一些细节。

Policy 决定了这个 agent 的行为，它其实是一个函数，把输入的状态变成行为。这里有两种 policy：

• 一种是 stochastic policy(随机性策略)，它就是 π \pi π 函数 π ( a ∣ s ) = P [ A t = a ∣ S t = s ] \pi(a | s)=P\left[A_{t}=a | S_{t}=s\right] π(a∣s)=P[At​=a∣St​=s] 。当你输入一个状态 s s s 的时候，输出是一个概率。这个概率就是你所有行为的一个概率，然后你可以进一步对这个概率分布进行采样，得到真实的你采取的行为。比如说这个概率可能是有 70% 的概率往左，30% 的概率往右，那么你通过采样就可以得到一个 action。

• 一种是 deterministic policy(确定性策略)，就是说你这里有可能只是采取它的极大化，采取最有可能的动作。你现在这个概率就是事先决定好的。

从 Atari 游戏来看的话，policy function 的输入就是游戏的一帧，它的输出决定你是往左走或者是往右走。

通常情况下，强化学习一般使用随机性策略。随机性策略有很多优点：

• 在学习时可以通过引入一定随机性来更好地探索环境；

• 随机性策略的动作具有多样性，这一点在多个智能体博弈时也非常重要。采用确定性策略的智能体总是对同样的环境做出相同的动作，会导致它的策略很容易被对手预测。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lUnyVAmA-1603206541550)(img/1.27.png)] 价值函数是一个折扣的未来奖励的加和，就是你通过进行某一种行为，然后你未来得到多大的奖励。

价值函数里面有一个 discount factor。我们希望尽可能在短的时间里面得到尽可能多的奖励。如果我们说十天过后，我给你 100 块钱，跟我现在给你 100 块钱，你肯定更希望我现在就给你 100 块钱，因为你可以把这 100 块钱存在银行里面，你就会有一些利息。所以我们就通过把这个 discount factor 放到价值函数的定义里面，后面得到的奖励价值函数的定义其实是一个期望。

这里有一个 E π \mathbb{E}_{\pi} Eπ​ 的期望，这里有个小角标是 π \pi π 函数，这个 π \pi π 函数就是说在我们已知某一个 policy function 的时候，到底可以得到多少的奖励。

对于这个奖励函数，我们另外还有一个 Q 函数。Q 函数里面包含两个变量：状态和动作。所以你未来可以获得多少的奖励，它的这个期望取决于你当前的状态和当前的行为。这个 Q 函数是强化学习算法在学习的一个函数。因为当我们得到这个 Q 函数的过后，进入某一种状态，它最优的行为其实就可以通过这个 Q 函数来得到。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jdu8OZFk-1603206541550)(img/1.28.png)] 第三个组成部分是模型，**模型决定了下一个状态会是什么样的，就是说下一步的状态取决于你当前的状态以及你当前采取的行为。**它由两个部分组成，一个是 probability，它这个转移状态之间是怎么转移的。另外是这个奖励函数，当你在当前状态采取了某一个行为，可以得到多大的奖励。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mEStn03v-1603206541551)(img/1.29.png)]

当我们有了这三个成分过后，就形成了一个 Markov Decision Process。这个决策过程可视化了状态之间的转移以及采取的行为。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xotO05xg-1603206541551)(img/1.30.png)]

这里我们来看一个走迷宫的例子，这个例子要求 agent 从 start 开始，然后到达 goal 的位置。这里设定的奖励是每走一步，你就会得到一个负的奖励。这里可以采取的动作是往上下左右走。当前状态用现在 agent 所在的位置来描述。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MuySNxpi-1603206541551)(img/1.31.png)] 我们可以用不同的强化学习算法来解这个环境，如果我们采取的是 Policy-based RL，当我们学习好了这个环境过后，在每一个状态，我们就会得到一个最佳的行为。比如说现在在第一格开始的时候，我们知道它最佳行为是往右走，然后第二格的时候，得到的最佳策略是往上走，第三格是往右走。通过这个最佳的策略，我们就可以最快地到达终点。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pTA5Q69C-1603206541552)(img/1.32.png)] 如果换成 value-based RL 这个算法，利用价值函数来作为导向，我们就会得到另外一种表征。这里就表征了你每一个状态会返回一个价值，比如说你在 start 位置的时候，价值是 -16，因为你最快可以 16 步到达终点。因为每走一步会减一，所以你这里的价值是 -16。当我们快接近最后终点的时候，这个数字变得越来越大。在拐角的时候，比如要现在在第二格 -15。然后 agent 会看上下，它看到上面值变大了，变成 -14 了，它下面是 -16，那么这个 agent 肯定就会采取一个往上走的策略。所以通过这个学习的值的不同，我们可以抽取出现在最佳的策略。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qr9m2iMr-1603206541552)(img/1.33.png)] 根据强化学习 agent 的不同，我们可以把 agent 进行归类。

• 基于价值函数的 agent。这一类 agent 显式地学习的是价值函数，隐式地学习了它的策略。因为这个策略是从我们学到的价值函数里面推算出来的。
• 基于策略的 agent，它直接去学习 policy，就是说你直接给它一个 state，它就会输出这个动作的概率。在这个 policy-based agent 里面并没有去学习它的价值函数。
• 另外还有一种 agent 是把这两者结合，把 value-based 和 policy-based 结合起来就有了 Actor-Critic agent。这一类 agent 就把它的策略函数和价值函数都学习了，然后通过两者的交互得到一个最佳的行为。

Q: 基于策略迭代和基于价值迭代的强化学习方法有什么区别?

A: 对于一个状态转移概率已知的马尔可夫决策过程，我们可以使用动态规划算法来求解；从决策方式来看，强化学习又可以划分为基于策略迭代的方法和基于价值迭代的方法。决策方式是智能体在给定状态下从动作集合中选择一个动作的依据，它是静态的，不随状态变化而变化。

在基于策略迭代的强化学习方法中，智能体会制定一套动作策略（确定在给定状态下需要采取何种动作），并根据这个策略进行操作。强化学习算法直接对策略进行优化，使制定的策略能够获得最大的奖励。

而在基于价值迭代的强化学习方法中，智能体不需要制定显式的策略，它维护一个价值表格或价值函数，并通过这个价值表格或价值函数来选取价值最大的动作。基于价值迭代的方法只能应用在不连续的、离散的环境下（如围棋或某些游戏领域），对于行为集合规模庞大、动作连续的场景（如机器人控制领域），其很难学习到较好的结果（此时基于策略迭代的方法能够根据设定的策略来选择连续的动作)。

基于价值迭代的强化学习算法有 Q-learning、 Sarsa 等，而基于策略迭代的强化学习算法有策略梯度算法等。此外， Actor-Critic 算法同时使用策略和价值评估来做出决策，其中，智能体会根据策略做出动作，而价值函数会对做出的动作给出价值，这样可以在原有的策略梯度算法的基础上加速学习过程，取得更好的效果。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2TH2aOHZ-1603206541553)(img/1.34.png)] 另外，我们是可以通过 agent 到底有没有学习这个环境模型来分类。

• 第一种是 model-based(有模型) RL agent，它通过学习这个状态的转移来采取措施。
• 另外一种是 model-free(免模型) RL agent，它没有去直接估计这个状态的转移，也没有得到环境的具体转移变量。它通过学习 value function 和 policy function 进行决策。这种 model-free 的模型里面没有一个环境转移的一个模型。

我们可以用马尔可夫决策过程来定义强化学习任务，并表示为四元组 < S , A , P , R > <S,A,P,R> <S,A,P,R>，即状态集合、动作集合、状态转移函数和奖励函数。如果这四元组中所有元素均已知，且状态集合和动作集合在有限步数内是有限集，则机器可以对真实环境进行建模，构建一个虚拟世界来模拟真实环境的状态和交互反应。

具体来说，当智能体知道状态转移函数 P ( s t + 1 ∣ s t , a t ) P(s_{t+1}|s_t,a_t) P(st+1​∣st​,at​) 和奖励函数 R ( s t , a t ) R(s_t,a_t) R(st​,at​) 后，它就能知道在某一状态下执行某一动作后能带来的奖励和环境的下一状态，这样智能体就不需要在真实环境中采取动作，直接在虚拟世界中学习和规划策略即可。这种学习方法称为有模型学习。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VMkiLaI8-1603206541553)(img/1.35.png)]

上图是有模型强化学习的流程图。

然而在实际应用中，智能体并不是那么容易就能知晓 MDP 中的所有元素的。通常情况下，状态转移函数和奖励函数很难估计，甚至连环境中的状态都可能是未知的，这时就需要采用免模型学习。免模型学习没有对真实环境进行建模，智能体只能在真实环境中通过一定的策略来执行动作，等待奖励和状态迁移，然后根据这些反馈信息来更新行为策略，这样反复迭代直到学习到最优策略。

Q: 有模型强化学习和免模型强化学习有什么区别？

A: 针对是否需要对真实环境建模，强化学习可以分为有模型学习和免模型学习。

• 有模型学习是指根据环境中的经验，构建一个虚拟世界，同时在真实环境和虚拟世界中学习；

• 免模型学习是指不对环境进行建模，直接与真实环境进行交互来学习到最优策略。

总的来说，有模型学习相比于免模型学习仅仅多出一个步骤，即对真实环境进行建模。因此，一些有模型的强化学习方法，也可以在免模型的强化学习方法中使用。在实际应用中，如果不清楚该用有模型强化学习还是免模型强化学习，可以先思考一下，在智能体执行动作前，是否能对下一步的状态和奖励进行预测，如果可以，就能够对环境进行建模，从而采用有模型学习。

免模型学习通常属于数据驱动型方法，需要大量的采样来估计状态、动作及奖励函数，从而优化动作策略。例如，在 Atari 平台上的 Space Invader 游戏中，免模型的深度强化学习需要大约 2 亿帧游戏画面才能学到比较理想的效果。相比之下，有模型学习可以在一定程度上缓解训练数据匮乏的问题，因为智能体可以在虚拟世界中行训练。

免模型学习的泛化性要优于有模型学习，原因是有模型学习算需要对真实环境进行建模，并且虚拟世界与真实环境之间可能还有差异，这限制了有模型学习算法的泛化性。

有模型的强化学习方法可以对环境建模，使得该类方法具有独特魅力，即“想象能力”。在免模型学习中，智能体只能一步一步地采取策略，等待真实环境的反馈；而有模型学习可以在虚拟世界中预测出所有将要发生的事，并采取对自己最有利的策略。

目前，大部分深度强化学习方法都采用了免模型学习，这是因为：

• 免模型学习更为简单直观且有丰富的开源资料，像 DQN、AlphaGo 系列等都采用免模型学习；
• 在目前的强化学习研究中，大部分情况下环境都是静态的、可描述的，智能体的状态是离散的、可观察的（如 Atari 游戏平台），这种相对简单确定的问题并不需要评估状态转移函数和奖励函数，直接采用免模型学习，使用大量的样本进行训练就能获得较好的效果。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xzyW6jJg-1603206541553)(img/1.36.png)]

把几类模型放到同一个 pie chart 里面。三个组成部分：value function、policy、model。按一个 agent 具不具有三者中的两者或者一者可以把它分成很多类。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oANwJ7Ki-1603206541554)(img/1.37.png)] 在强化学习里面，Exploration 和Exploitation 是两个很核心的问题。

• Exploration 是说我们怎么去探索这个环境，通过尝试不同的行为来得到一个最佳的策略，得到最大奖励的策略。

• Exploitation 是说我们不去尝试新的东西，就采取已知的可以得到很大奖励的行为。

因为在刚开始的时候强化学习 agent 不知道它采取了某个行为会发生什么，所以它只能通过试错去探索。所以 Exploration 就是在试错来理解采取的这个行为到底可不可以得到好的奖励。Exploitation 是说我们直接采取已知的可以得到很好奖励的行为。所以这里就面临一个 trade-off，怎么通过牺牲一些短期的 reward 来获得行为的理解。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gvSzAdIm-1603206541554)(img/1.38.png)] 这里我给大家举一些例子来说明 Exploration 和 Exploitation 的定义。