【深度强化学习】PPO 算法理解

RecursiveFrog · 发表于 2021-12-7 16:13

因为打算使用PPO，所以这两天又把算法仔仔细细理解了一遍，里面对于算法的分析借鉴了李宏毅老师的视频，spinning up官方文档，以及自己的理解，如果有理解不对的地方请在评论区指出来，谢谢！

TRPO（trust region policy optimization, 信任域策略优化））与 PPO（proximal policy optimization，邻近策略优化）均属于 策略梯度 算法，算法的训练在 与环境交互采样数据 以及 利用随机梯度上升优化一个替代（surrogate）目标函数 之间交替进行。相较于标准梯度策略算法每次数据采样只能进行一次梯度更新，TRPO与PPO 所使用的目标函数能够利用同一批次数据进行多次梯度更新。PPO 比 TRPO（trust region policy optimization, 信任域策略优化）更为简单。
算法背景

策略梯度方法

策略梯度方法通过计算策略梯度的估计然后利用随机梯度上升算法对策略进行更新。最广泛使用的梯度计算公式为

$\hat{g}=\hat{\mathbb{E}}_{(s_t,a_t)\sim\pi_\theta}\left[\nabla_{\theta} \log \pi_{\theta}\left(a_{t} \mid s_{t}\right) \hat{A}^\theta_{t}\right] \\$
其中  为随机策略，而 $\hat{A}^\theta_{t}$ 为时刻 $t$ 对于优势函数的估计，它表示此时在状态 $s_t$ 下采取动作 $a_t$ 所能获得的优势，  表示对有限批次样本的平均值。算法在实际进行梯度更新时，通常会构建一个梯度等于该策略梯度的目标函数，然后对该目标函数进行梯度上升，该目标函数为

$L^{P G}(\theta)=\hat{\mathbb{E}}_{(s_t,a_t)\sim\pi_\theta}\left[\log \pi_{\theta}\left(a_{t} \mid s_{t}\right) \hat{A}^\theta_{t}\right] \\$
代理目标函数（Surrogate Objective Function）

在标准梯度更新算法中，在环境中采集数据的策略与所要估计的策略是同一策略，这种方法被称为 **同策略（on-policy）**方法，在这种方法中，每进行一次数据采集，通常只能进行一次梯度更新，因为策略梯度计算公式中  是根据策略产生的样本所得到的平均，一旦  发生了改变，原来的样本就不再具有实际意义。而在 **离策略（off-policy）**方法中，产生数据样本所使用的策略与要估计的策略不是同一策略，前者被称为行为策略，后者被称为目标策略，由于行为策略并不会因为目标策略的更新而发生改变，因此我们可以利用行为策略产生的数据样本对目标策略进行多次更新。离策略算法中，通常利用 **重要性采样（importance sampling）**的方法对梯度/目标函数进行修正，假设目标策略为，行为策略为，修正后的梯度与目标函数分别为

$\hat{g}'=\hat{\mathbb{E}}_{(s_t,a_t)\sim\pi_{\theta'}}\left[\frac{\pi_\theta(a_t|s_t)}{\pi_{\theta'}(a_t|s_t)}\nabla_{\theta} \log \pi_{\theta}\left(a_{t} \mid s_{t}\right) \hat{A}^{\theta'}_{t}\right] \\$ $L’^{P G}(\theta)=\hat{\mathbb{E}}_{(s_t,a_t)\sim\pi_{\theta'}}\left[\frac{\pi_\theta(a_t|s_t)}{\pi_{\theta'}(a_t|s_t)}\hat{A}^{\theta'}_{t}\right] \\$
可以看出，估计策略梯度时所使用的样本均从行为策略  中采样得到，而 $\hat{A}^{\theta'}_{t}$ 也根据行为策略  估计得到。
TRPO 把每一步策略的更新都当做是一个优化问题，算法借鉴了离策略方法中重要性采样的思想，设计了新的目标函数，即 代理目标函数（surrogate objective function）：

$\max_{\theta_{k+1}}\ \hat{\mathbb{E}}_{(s_t,a_t)\sim\pi_{\theta_{k}}}\left[\frac{\pi_{\theta_{k+1}}(a_t|s_t)}{\pi_{\theta_{k}}(a_t|s_t)}\hat{A}^{\theta_{k}}_{t}\right] \\$
因此在每一次策略更新时，我们可以利用“老策略” $\theta_{k}$ 采集得到的样本以及对应估计出来的优势函数 $\hat{A}^{\theta_{k}}_{t}$ ，对  进行优化最终得到。
但是需要注意的是，TRPO和PPO属于on-policy方法，因为他们依然是用  采样的数据来更新  变成，符合on-policy的定义，只不过借用了重要性采样的思想利用  所采集的数据来表示所对应的目标函数，使得 每一次策略更新都变成一个优化问题。总结来说，off-policy是带重要性采样系数的梯度上升，它可以使用任意策略的数据来更新当前策略，而TRPO和PPO的每一步更新都是一个优化问题，它只能使用老策略来更新新策略，这是两者的区别所在。
重要性采样的问题

李宏毅老师的视频中提到，在重要性采样中，行为策略和目标策略不能相差太多。在上面这幅图中，和  分别属于两个不同的分布，我们希望用  中采样得到的样本去估计 $f(x)$ 在  属于  分布时的期望。上图中，分布中  大多集中在正值，而  分布中  大多集中在负数区域，当样本数量多时，理论上可以得到一个较为准确的估计值。但当样本数量太少时时，我们采集到的样本很有可能都是正数，此时我们得到的均值估计也是正的，很显然这不是一个准确的估计。只有当样本数量足够大，能够取到整个定义域上的值时，我们才有可能将结果准确的估计出来。
信任域方法（Trust Region Method）

为了避免上述重要性采样中可能出现的问题，我们在对策略进行优化更新时，必须防止新策略  与老策略相差得太远，因此TRPO中规定新策略与老策略  之间的KL散度不能相差太多，即

$\bar{D}_{K L}\left(\theta \| \theta_{k}\right)=\underset{s \sim \pi_{\theta_{k}}}{\mathrm{E}}\left[D_{K L}\left(\pi_{\theta}(\cdot \mid s) \| \pi_{\theta_{k}}(\cdot \mid s)\right)\right] \le \delta \\$
这里 KL散度 用于度量不同概率分布之间的相似程度，分布 $P_r$ 与 $P_f$ 之间KL散度的计算公式为

$K L\left(P_{r} \| P_{f}\right)=\mathbb{E}_{x \sim P_{r}}\left[\log \frac{P_{r}(x)}{P_{f}(x)}\right]=\int P_{r}(x) \log \frac{P_{r}(x)}{P_{f}(x)} d x \\$
因此，在TRPO中，每一步策略梯度更新对应的完整优化问题可以表示为

$\begin{align*} &\max_{\theta_{k+1}}\ \hat{\mathbb{E}}_{(s_t,a_t)\sim\pi_{\theta_{k}}}\left[\frac{\pi_{\theta_{k+1}}(a_t|s_t)}{\pi_{\theta_{k}}(a_t|s_t)}\hat{A}^{\theta_{k}}_{t}\right]\\ &\text{s.t.}\ \bar{D}_{K L}\left(\theta \| \theta_{k}\right)=\underset{s \sim \pi_{\theta_{k}}}{\mathrm{E}}\left[D_{K L}\left(\pi_{\theta}(\cdot \mid s) \| \pi_{\theta_{k}}(\cdot \mid s)\right)\right] \le \delta \end{align*} \\$
很显然，这是一个十分复杂的优化问题，TRPO利用泰勒展开将该问题进行了简化：

$\begin{align} & {{\theta }_{k+1}}=\arg {{\max }_{\theta }}{{g}^{T}}\left( \theta -{{\theta }_{k}} \right)\text{ } \\ & \quad \quad \quad \quad \quad \text{s}\text{.t}\text{. }\frac{1}{2}{{\left( \theta -{{\theta }_{k}} \right)}^{T}}H\left( \theta -{{\theta }_{k}} \right)\le \delta \\ \end{align} \\$
这里的导数 $g$ 刚好等于策略梯度！然后根据拉格朗日对偶定理，可得到梯度的更新公式

${{\theta }_{k+1}}={{\theta }_{k}}+\alpha^j\sqrt{\frac{2\delta }{{{g}^{T}}{{H}^{-1}}g}}{{H}^{-1}}g \\$
这里的 $\alpha$ 表示回溯系数，它能够避免泰勒展开误差所导致的约束函数无法满足或者代理函数无法提升。
截断代理目标（Clipped Surrogate Objective）

很显然，TRPO算法在实际操作上是十分复杂的，PPO对TRPO进行了简化。
上面我们已经定义了代理目标函数

$\hat{\mathbb{E}}_{(s_t,a_t)\sim\pi_{\theta_{k}}}\left[\frac{\pi_{\theta_{k+1}}(a_t|s_t)}{\pi_{\theta_{k}}(a_t|s_t)}\hat{A}^{\theta_{k}}_{t}\right] \\$
如果直接对该代理目标函数进行更新，会导致  与 $\pi_{\theta_{k}}$ 偏离太远，TRPO 设定了KL约束，但是这大大提升了策略更新的难度。为了防止  过分的偏离，PPO的做法是直接对代理目标函数进行修正，提出了以下截断代理目标：

$L\left( s,a,{{\theta }_{k}},\theta \right)=\min \left( \frac{{{\pi }_{\theta }}(a|s)}{{{\pi }_{{{\theta }_{k}}}}(a|s)}{{A}^{{{\pi }_{{{\theta }_{k}}}}}}(s,a),\quad \operatorname{clip}\left( \frac{{{\pi }_{\theta }}(a|s)}{{{\pi }_{{{\theta }_{k}}}}(a|s)},1-\epsilon ,1+\epsilon \right){{A}^{{{\pi }_{{{\theta }_{k}}}}}}(s,a) \right) \\$
其中 $\epsilon$ 是用于度量新策略与老策略之间偏差程度的超参数。下面这幅图描述了目标函数 $L\left( s,a,{{\theta }_{k}},\theta \right)$ 随 $r=\frac{{{\pi }_{\theta }}(a|s)}{{{\pi }_{{{\theta }_{k}}}}(a|s)}$ 变化的情况，可以看出，当 $A>0$ 时，也就是优势函数为正时，增加对应动作出现的可能性  ，可以增加目标函数的值，但一旦  超过了  ，目标函数就会截断为，此时  再增加也没有用了，从而防止   ${\pi }_{\theta_{k+1}}(a|s)$ 偏离   ${\pi }_{\theta_{k}}(a|s)$ 太多。同样，当 $A<0$ 时，减少对应动作出现的可能性  ，可以增加目标函数的值，但一旦  小于  ，目标函数就会截断为，此时  不会再减小。

另外，为了近一步防止新策略偏离太多，不同PPO方法中还可以使用一系列有用的技巧，例如，提前终止（early stopping）——当新策略与老策略之间的平均KL-散度超过一定门限时，停止梯度上升。
广义优势估计（Generalized Advantage Estimation）

PPO中采用GAE的方法对优势函数进行估计，具体而言，其计算公式为

$\hat{A}_{t}^{G A E(\gamma, \lambda)}=\sum_{l=0}^{\infty}(\gamma \lambda)^{l} \delta_{t+l}^{V}=\sum_{l=0}^{\infty}(\gamma \lambda)^{l}\left[r_{t+l}+\gamma V\left(s_{t+l+1}\right)-V\left(s_{t+l}\right)\right] \\$
其估计advantage的方法与 $TD(\lambda)$ 类似，从公式上可以看出GAE中分别考虑了状态 $S_t$ 后续各个时刻的advantage,然后按照距离当前状态的远近加权求和，从而起到了平滑作用。为了便于理解，考虑两种极限情况：

$\begin{array}{ll} \operatorname{GAE}(\gamma, 0): \quad \hat{A}_{t}:=\delta_{t}=r_{t}+\gamma V\left(s_{t+1}\right)-V\left(s_{t}\right) \\ \operatorname{GAE}(\gamma, 1): \quad \hat{A}_{t}:=\sum_{l=0}^{\infty} \gamma^{l} \delta_{t+l}=\sum_{l=0}^{\infty} \gamma^{l} r_{t+l}-V\left(s_{t}\right) \end{array} \\$

$\lambda=0$ 时，advantage便是使用 $TD(0)$ 估计的Q值与V值的差； $\lambda=1$ 时，advantage则是使用蒙特卡洛方法估计的收益 $G_t$ 值与V 值的差。可以看出 $\lambda$ 作为一个调整因子，它越接近1时，方差越大，偏差越小，接近0时反之。这也是GAE的一个优势，即可以更加不同环境的情况让我们可以调整参数来找到更合理的advantage。
另外，PPO原文还提到可以对GAE进行截断，即不需要在整个episode中进行平均，只需选取关联性较大的 $N$ 步即可：

$\hat{A}_{t}^{Trunc-G A E(\gamma, \lambda)}=\sum_{l=0}^{N}(\gamma \lambda)^{l} \delta_{t+l}^{V}=\sum_{l=0}^{N}(\gamma \lambda)^{l}\left[r_{t+l}+\gamma V\left(s_{t+l+1}\right)-V\left(s_{t+l}\right)\right] \\$
算法流程

PPO算法的具体流程只需在标准策略梯度（vanilla policy gradient）的基础上做非常小的改动，简单来说，就是把策略更新时的损失函数从 $L^{PG}$ 替换成 $L$ ，然后在每一次更新时对该目标函数进行多次梯度上升即可。

参考文献

  [1] J. Schulman, F. Wolski, P. Dhariwal, A. Radford, and O. Klimov, ‘Proximal Policy Optimization Algorithms’, arXiv:1707.06347 [cs], Aug. 2017, Accessed: Nov. 22, 2021. [Online]. Available: http://arxiv.org/abs/1707.06347
  [2] J. Achiam, ‘SpinningUp2018’, 2018.

		自动登录	找回密码
密码			立即注册

【深度强化学习】PPO 算法理解

本帖子中包含更多资源