浅谈策略梯度（PG）算法

Policy Optimization（策略优化）是强化学习中的一大类算法，其基本思路区别于Value-based的算法。因此，很多教科书都将model-free RL分成两大类，Policy Optimization和Value-based。本系列博客将会参考OpenAI发布的入门教程 Spinning Up [1] ，Spinning Up系列是入门Policy Optimization的非常好的教材，特别适合初学者。Policy Gradient（策略梯度，简称PG）算法是策略优化中的核心概念，本章我们就将从最简单的PG推导开始，一步步揭开策略优化算法的神秘面纱。

如果用一句话来表达 策略梯度 的直观解释，那就是“如果动作使得最终回报变大，那么增加这个动作出现的概率，反之，减少这个动作出现的概率”。这句话表达了两个含义：

本节我们将一步步推导出策略梯度的基础公式，这一小节非常重要，理解了推导过程，就基本上理解了策略梯度的核心思想。所以，一定要耐心的把这一小节的内容全部看懂，最好能够达到自行推导的地步。

我们用参数化的神经网络表示我们的策略 ，那我们的目标，就可以表示为调整 ，使得 期望回报 最大，用公式表示：

在公式(1)中， 表示从开始到结束的一条完整路径。通常，对于最大化问题，我们可以使用梯度上升算法来找到最大值。

为了能够一步步得到最优参数，我们需要得到 ，然后利用梯度上升算法即可，核心思想就是这么简单。

关键是求取最终的 回报函数 关于 的梯度，这个就是 策略梯度 （policy gradient），通过优化策略梯度来求解RL问题的算法就叫做 策略梯度算法 ，我们常见的PPO，TRPO都是属于策略梯度算法。下面我们的目标就是把公式（2）逐步展开，公式（2）中最核心的部分就是 ，这也是这篇博客最核心的地方。

在以上的推导中，用到了log求导技巧： 关于 的导数是 。因此，我们可以得到以下的公式：

所以，才有公式（5）到公式（6），接下来我们把公式（7）进一步展开，主要是把 展开。先来看看

加入log，化乘法为加法：

计算log函数的梯度，并且约去一些常量：

因此，结合公式（7）和公式（9），我们得到了最终的表达式

公式（10）就是PG算法的核心表达式了，从这个公式中可以看出，我们要求取的策略梯度其实是一个期望，具体工程实现可以采用蒙特卡罗的思想来求取期望，也就是采样求均值来近似表示期望。我们收集一系列的 ,其中每一条轨迹都是由agent采用策略 与环境交互采样得到的，那策略梯度可以表示为：

其中， 表示采样的轨迹的数量。现在，我们完成了详细的策略梯度的推导过程，长舒一口气，接下来的工作就比较轻松了，就是在公式（10）的基础上修修改改了。

再进行简单修改之前，我们再总结一下公式（10），毕竟这个公式是PG算法最核心的公式：

我们继续观察公式（10），对于公式中的 ，表示整个轨迹的回报，其实并不合理。对于一条轨迹中的所有动作，均采用相同的回报，就相当于对于轨迹中的每一个动作都赋予相同的权重。显然，动作序列中的动作有好有坏，都采取相同的回报，无法达到奖惩的目的，那我们该怎么表示 某个状态下，执行某个动作 的回报呢？

一种比较直观思路是，当前的动作将会影响后续的状态，并且获得即时奖励（reward），那么我们只需要使用 折扣累计回报 来表示当前动作的回报就行了，用公式表示为：

这在spinning up中叫做reward to go，所以，公式（10）可以表示为：

当然，使用reward to go的权重分配还是相当初级，我们可以使用更加高级的权重分配方式，进一步减少回报分配的方差，限于篇幅原因，我们后续再聊。

本章我们花了大量的篇幅推导了策略梯度（PG）的核心公式，得到了关键表达式（10），理解该公式对于我们后续理解整个PG算法族非常有帮助，希望大家能够认真的理解这一公式推导过程。

梯度下降法的介绍如下：

定义

梯度下降法（Gradient descent，简称GD）是一阶最优化算法。要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。

如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点，这个过程则被称为梯度上升法。

用途

梯度下降法是迭代法的一种，可以用于求解最小二乘问题（线性和非线性都可以）。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降法和最小二乘法是最常采用的方法。在求解损失函数的最小值时，可以通过梯度下降法来迭代求解。

得到最小化的损失函数和模型参数值。反过来，如果我们需要求解损失函数的最大值，这时就需要用梯度上升法来迭代了。在机器学习中，基于基本的梯度下降法发展了两种常用梯度下降方法，分别为随机梯度下降法和批量梯度下降法。

原理

在当前位置求偏导，即梯度，正常的梯度方向类似于上山的方向，是使值函数增大的，下山最快需使最小，从负梯度求最小值，这就是梯度下降。梯度上升是直接求偏导，梯度下降则是梯度上升的负值。

由于不知道怎么下山，于是需要走一步算一步，继续求解当前位置的偏导数。这样一步步的走下去，当走到了最低点，此时我们能得到一个近似最优解。

在当前位置求偏导，即梯度，正常的梯度方向类似于上山的方向，是使值函数增大的，下山最快需使最小，从负梯度求最小值，这就是梯度下降。梯度上升是直接求偏导，梯度下降则是梯度上升的负值。

由于不知道怎么下山，于是需要走一步算一步，继续求解当前位置的偏导数。这样一步步的走下去，当走到了最低点，此时我们能得到一个近似最优解。

Sobel边缘算子

对数字图像的每一个像素f(i,j),考察它的上、下、左、右邻域灰度的加权值，把各方向上(0度、45度、90度、135度)的灰度值加权之和作为输出，可以达到提取图像边缘的效果。

即 g(i,j) = fxr + fyr, 其中

fxr = f(i-1,j-1)+2f(i-1,j)+f(i-1,j+1)-f(i+1,j-1)-2f(i+1,j)-f(i+1,j+1)

fyr = f(i-1,j-1)+2f(i,j-1)+f(i+1,j-1)-f(i-1,j+1)-2f(i,j+1)-f(i+1,j+1)

梯度grad公式：gradu=aₓ（∂u/∂x）+aᵧ（∂u/∂y）+az（∂u/∂z）。

1、在向量微积分中，标量场的梯度是一个向量场。设M是可微的流形， 在M的每一点处安放一个切向量， 要求这些切向量的基点连续移动时，他们也跟着连续地变动的。这些切向量全体称为M上的一个切向量场。

2、标量场中某一点的梯度指向在这点标量场增长最快的方向。标量场是指一个仅用其大小就可以完整表征的场。一个标量场u 可以用一个标量函数u(x,y,z)来表示。

标量场分为实标量场和复标量场，其中实标量场是最简单的场，它只有一个实标量，而复标量是一个复数的场，它有两个独立的场量，这相当于场量有两个分量。

3、梯度的绝对值是长度为1的方向中函数最大的增加率。导数描述的是函数在一点处的变化快慢的趋势，是一个变化的速率。如曲线方程的导数是随点变化的斜率，运动方程的导数是随时间变化的速率。

梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。

以上就是关于浅谈策略梯度（PG）算法全部的内容，包括:浅谈策略梯度（PG）算法、梯度下降算法有哪些、索伯尔梯度的计算方法等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！