tf2.0学习（十一）——强化学习

本节首先通过一个简单的例子来感受强化学习的魅力。本节以直观感受为主，无需掌握细节。

下边是强化学习中最为关键的环节，如何进行判断和决策。我们把判断和决策叫做策略（Policy）。策略的输入是状态s，输出是某个具体的动作a或着动作的分布 π θ ( a ∣ s ) \pi_{\theta} (a|s) πθ​(a∣s)，其中 θ \theta θ为策略函数 π \pi π的参数，可以用神经网络来参数化 π θ \pi_{\theta} πθ​函数。 如下图，神经网络的输入是平衡杆系统的状态s，输出为所有动作的概率 π θ ( a ∣ s ) \pi_{\theta}(a|s) πθ​(a∣s)，即P(向左|s)，P(向右|s)。并且： ∑ a ∈ A π θ ( a ∣ s ) = 1 \sum_{a \in A} \pi_{\theta}(a|s) = 1 a∈A∑​πθ​(a∣s)=1 其中A为所有动作的集合。 π θ \pi_{\theta} πθ​网络代表了智能体的策略，称为策略网络。 策略网络的创建过程跟普通网络一样:

class Policy(tf.keras.Model):
    def __init__(self):
        super(Policy, self).__init__()
        self.data = [] 
        self.fc1 = tf.keras.layers.Dense(128, kernel_initializer='he_normal')
        self.fc2 = tf.keras.layers.Dense(2, kernel_initializer='he_normal')

        self.optimizer = tf.optimizers.Adam(learning_rate=0.001)

    def call(self, inputs, training=None):
        x = self.fc1(inputs)
        x = tf.nn.relu(x)
        x = self.fc2(x)
        x = tf.nn.softmax(x, axis=1)
        return x 

    def put_data(self, item):
        self.data.append(item)

如果希望用梯度下降算法来优化网络参数，需要知道每个输入 s t s_t st​的标注信息 a t a_t at​，并且确保输入到损失值是连续可导的。强化学习和传统的有监督学习不同，主要体现在强化学习的标注并没有一个明确的好坏标准。奖励r可以一定程度上反应动作的好坏，但不能直接决定每个时间戳的动作。甚至有些游戏交互过程只有一个最终的代表游戏结果的奖励r，如围棋。那么给每个状态定义一个最优的动作 a t ∗ a^*_t at∗​合理吗。首先游戏中的状态总数是非常巨大的，其次每个状态很难定义一个最优动作，有些动作虽然短期回报不高，但长期回报却是好的。

因此，策略网络的优化目标不应该是让每个输入 s t s_t st​的输出尽量接近标注结果，而是要最大化总回报的期望。总回报是指从游戏开始到游戏结束之间的奖励和 ∑ r t \sum r_t ∑rt​。

一个好的策略应该能让总回报的期望值最高 J ( π θ ) J(\pi_\theta) J(πθ​)。根据梯度上升算法，参数更新如下： θ t + 1 = θ t + η ∂ J ( θ ) ∂ θ \theta_{t+1} = \theta_{t} + \eta \frac{\partial J(\theta)}{\partial \theta} θt+1​=θt​+η∂θ∂J(θ)​

然而遗憾的是，总回报期望 J ( θ ) J({\theta}) J(θ)是环境给的，如果不知道游戏模型，是不可能通过自动微分求得 ∂ J ( θ ) ∂ θ \frac{\partial J({\theta})}{\partial \theta} ∂θ∂J(θ)​的。

那么能不能在不知道 J ( θ ) J({\theta}) J(θ)的前提下，得到 ∂ J ( θ ) ∂ θ \frac{\partial J({\theta})}{\partial \theta} ∂θ∂J(θ)​呢，其实是可以的，下面先给出表达式： ∂ J ( θ ) ∂ θ = E τ ∼ p θ ( τ ) [ ( ∑ t = 1 T ∂ ∂ θ l o g π θ ( a t ∣ s t ) ) R ( τ ) ] \frac{\partial J({\theta})}{\partial \theta} = \mathbb{E}_{\tau \sim p_{\theta}(\tau) } [(\sum_{t=1}^{T}\frac{\partial}{\partial \theta} log \pi_{\theta}(a_t|s_t))R(\tau)] ∂θ∂J(θ)​=Eτ∼pθ​(τ)​[(t=1∑T​∂θ∂​logπθ​(at​∣st​))R(τ)]

利用上边公式，只需要计算出 ∂ ∂ θ l o g π θ ( a t ∣ s t ) \frac{\partial}{\partial \theta} log \pi_{\theta}(a_t|s_t) ∂θ∂​logπθ​(at​∣st​)，并乘以 R ( τ ) R(\tau) R(τ)就可以更新计算出 ∂ J ( θ ) ∂ θ \frac{\partial J({\theta})}{\partial \theta} ∂θ∂J(θ)​，按照 θ ∗ = θ − η ∂ L ∂ θ \theta^{*} = \theta - \eta \frac{\partial L}{\partial \theta} θ∗=θ−η∂θ∂L​的方式更新策略网络，就可以最大化 J ( θ ) J(\theta) J(θ)。其中 R ( τ ) R(\tau) R(τ)为某次交互的总回报， τ \tau τ为交互轨迹 s 1 , a 1 , r 1 , s 2 , a 2 , r 2 , . . . s t , a t , r t s_1,a_1,r_1,s_2,a_2,r_2,...s_t,a_t,r_t s1​,a1​,r1​,s2​,a2​,r2​,...st​,at​,rt​。

首先要了解一下强化学习的相关概念。具有感知和决策能力的对象叫做智能体（Agent）,他可以是一段算法代码，可以是软硬件系统。智能体通过与外界环境进行交互完成某个动作。这里的环境（Environmont）是指接收到智能体的动作而产生影响，并给出相应反馈的外界环境的总和。对于智能体来说，他通过感知外界环境的状态（State），作出相应的动作（Action）。对于环境来说，它从某个初始状态 s 1 s_1 s1​开始，通过接受智能体的动作而动态改变自身的状态，并给出相应的奖励（Reward）。

从概率角度描述强化学习过程，包括5个基本对象：