我们演示了自动驾驶深度强化学习（autonomous driving）第一次应用。通过随机初始化参数，我们的模型可以使用单目图像作为输入，只使用少量的训练场景（training episodes）学习车道跟踪（lane following）策略。我们设置了一个常见且容易获得的设置回报（reward）：车辆的行驶距离没有安全驾驶员的控制。我们使用连续的、无模型的深度强化学习算法来探索和优化车辆。展示了自动驾驶的新框架，该框架不再依赖于定义逻辑规则、高精度地图和方向监控（defined logical rules, mapping, and direct supervision）。最后，我们讨论了将这种方法扩展到更广泛的自动驾驶任务中的挑战和机遇。

由于自动驾驶技术可能从根本上改变旅行和交通方式，它引起了研究和公司的广泛关注。一般来说，对数据的处理大多集中在形式逻辑上（formal logic）上，即带注释的3D驾驶行为在几何图中定义。很难推广(其他场景)，因为它严重依赖于外部基础设备的映射（external mapping infrastructure），而不是关注对当地场景的理解（understanding of the local scene）。基于地图的缺陷. 为了使自动驾驶成为一种常见的技术，我们提倡使用没有地图和明确规则的机器人系统来驾驶和巡航，就像人类一样，依靠对实时环境的全面理解[1]，遵循简单的高维方向（while following simple higher level directions）(例如转向路径规划)。该领域的最新工作表明，使用GPS粗略定位和使用LIDAR了解当地场景，可以在农村道路上实现(自动驾驶)[2]。引入机器人系统 强化学习是机器学习的一个子领域，主要用于解决马尔可夫决策问题（Markov Decision Problems）（MDP）[3]，即最大化回报函数（reward function），在特定的环境中选择某种行为（select actions）。近些年来，RL在游戏中表现出超越人类的能力，比如围棋[4]和国际象棋[5]，在计算机游戏[6]等虚拟环境中，在使用机械手[7]进行简单任务时，潜力巨大。我们认为，强化学习的普遍性使其成为适用于自动驾驶的一种有效的框架。最重要的是，它提供了一种纠正机制(corrective mechanism学习自动驾驶。引入强化学习 最后，我们在这里本文做了以下工作：

1. 将自动驾驶视为马尔可夫的决策问题，并解释如何设计这个问题的参数（various elements）使其更容易解决，同时保持其通用性和可扩展性。
2. 展示一种经典RL算法-DDPG（deep deterministic policy gradients）[8]可以在虚拟环境中快速学习简单的自动驾驶任务。
3. 加强加强学习（RL）在现实世界中控制车辆高效安全驾驶，讨论了他需要的系统设置（system set-up）。
4. 仅使用车载计算（on-board computation），学习算法通过少量场景学习驾驶现实世界的汽车。 图1：我们设计了一种用于自动驾驶的深度强化学习算法。此图展示的是Actor-Critic算法，我们用它来学习驾驶的策略（policy）和值函数（value function）。 我们设置一个回报（reward），即安全驾驶员干预之前车子行驶的距离，我们将最大限度的提高这个回报值。这个网站https://wayve.ai/blog/l2diad可以观看我们的小车学会自动驾驶的视频。

 　　我们认为这是第一次表明深度强化学习运用于自动驾驶是一种有效的方法。我们看中他（RL）具有超越模仿学习的潜力，因此我们希望研究界从强化学习的角度更仔细地研究自动驾驶。当前文献中（和RL）最相近的工作主要可以归类为模仿学习（imitation learning）和基于地图的经典方法（classical approaches relying on mapping）。

 　　自早期的例子[9],[10]以来，自动驾驶汽车系统已被设计为借助灵敏的感知（advanced sensing）和控制算法（control algorithms）在复杂环境中安全行驶[11],[12],[13]。传统上，这些系统由许多独特的组件（components）构成，例如感知(perception、状态估计(state estimation、映射（mapping）、计划（planning）和控制（control）[14]。但是，由于每个组件都需要单独指定和调整，而且组件之间存在复杂的相互依赖关系，导致很难将其扩展到一些更复杂的驾驶场景中去。 　　对于这种模块化方法（modular approach），很多注意力投向了计算机视觉组件。论文[15]中的定位技术有助于在地图化的环境（mapped environment）中控制车辆[16]，而感知方法（例如语义分段[1]）使机器人可以解释场景。这些模块化任务得到了像[17]、[18]这样的基准论文的支撑。 　　这些模块化映射方法（modular mapping approaches）在很大程度上是商业上开发自动驾驶系统的重点。但是这种方法也提出了极其复杂的系统工程挑战，尚未解决。

 　　最近的一种用来解决自动驾驶任务的方法是模仿学习[19],[20]，其目的是通过观察专家的示范（expert demonstrations）来学习控制策略。这种方法的一个重要优点是，它可以使用端到端深度学习，针对最终目标共同优化模型的所有参数（parameters），从而减少了调整每个组件（component）的工作量。但是模仿学习在扩展（scale）上也存在挑战。无法获得专家实例来模仿可能遇到的每一种潜在情况，并且在处理演示策略的分发（distributions of demonstrated policies）的问题上也存在挑战（例如：在多条车道上行驶）。

强化学习是解决马尔可夫决策问题（MDP）[21]的一类广泛的算法。 一个MDP包括：

• 集合 S \mathcal{S} S表示状态（states）。
• 集合 A \mathcal{A} A表示动作（actions）。
• 一个转移概率函数（transition probability function） p ： S × A → P ( S ) \mathcal{p}：\mathcal{S} \times \mathcal{A} \to \mathcal{P \left(S\right) } p：S×A→P(S)，它为每对 ( s , a ) ∈ S × A \mathcal {\left(s,a\right) \in S\times A} (s,a)∈S×A分配一个概率分布 p ( ⋅ ∣ s , a ) \mathcal{p \left(\cdot | s,a\right)} p(⋅∣s,a)，该概率分布(probability distribution)表示：发生动作 a \mathcal{a} a使得状态 s \mathcal{s} s到另一种状态的概率。
• 一个回报函数（reward function） R ： S × S × A → R \mathit{R}：\mathcal{S} \times \mathcal{S} \times \mathcal{A} \to \mathbb{R} R：S×S×A→R，回报 R ( s t + 1 , s t , a t ) \mathit{R \left(s_{t+1},s_t,a_t \right)} R(st+1​,st​,at​)表示：发生动作 a t \mathcal{a_t} at​使得从状态 s t \mathcal{s_t} st​到状态 s t + 1 \mathcal{s_{t+1}} st+1​的回报。
• 一个面向未来的惩罚因子（future discount factor） γ ∈ [ 0 , 1 ] \gamma \in [0,1] γ∈[0,1]，代表我们对未来回报（future rewards）的关心程度。