David silver 强化学习 Lecture 7

距离上次更新已经 1792 天了，文章内容可能已经过时。

课程主页： https://www.davidsilver.uk/teaching/

这里回顾David silver 强化学习 Lecture 7的课程内容，这一讲简单介绍了策略梯度算法。

上一讲介绍了如何使用参数$\theta$近似价值函数：

$$\begin{array}{rl}{V}_{\theta }(s)& \approx V^{\pi }(s)\\ Q_{\theta }(s,a)& \approx Q^{\pi }(s,a)\end{array}$$

然后从价值函数中推导策略。

这一讲将直接近似策略：

$${\pi }_{\theta }(s,a)=\mathbb{P}[a|s,\theta ]$$

这一讲的重点仍然是不基于模型的强化学习。

Policy Objective Functions

我们要找到好的策略${\pi }_{\theta }(s,a)$，就需要一个判断好坏的损失函数：

• 在离散环境，我们可以使用初始价值

  $$J_1(\theta )=V^{{\pi }_{\theta }}\left(s_1\right)={\mathbb{E}}_{{\pi }_{\theta }}\left[v_1\right]$$

• 在连续环境中，我们可以使用平均价值

  $$J_{avV}(\theta )=\sum _s{d}^{{\pi }_{\theta }}(s)V^{{\pi }_{\theta }}(s)$$

• 或者每个时间戳的平均回报

  $$J_{avR}(\theta )=\sum _s{d}^{{\pi }_{\theta }}(s)\sum _a{\pi }_{\theta }(s,a){\mathcal{R}}_s^a$$

• 其中$d^{{\pi }_{\theta }}(s)$是马尔可夫链关于${\pi }_{\theta }$的平稳分布

后续将损失函数统一记录为$J(\theta )$。

Policy Gradient

利用梯度上升算法可以最大化$J(\theta )$，每一步的变换量为

$$\mathrm{\Delta }\theta =\alpha {\mathrm{\nabla }}_{\theta }J(\theta )$$

其中${\mathrm{\nabla }}_{\theta }J(\theta )$为策略梯度，计算式为

$${\mathrm{\nabla }}_{\theta }J(\theta )=\left(\begin{array}{c}\frac{\partial J(\theta )}{\partial {\theta }_1}\\ ⋮\\ \frac{\partial J(\theta )}{\partial {\theta }_n}\end{array}\right)$$

$\alpha$是步长参数。

Score Function

现在解析的计算${\mathrm{\nabla }}_{\theta }{\pi }_{\theta }(s,a)$，我们有

$$\begin{array}{rl}{\mathrm{\nabla }}_{\theta }{\pi }_{\theta }(s,a)& ={\pi }_{\theta }(s,a)\frac{{\mathrm{\nabla }}_{\theta }{\pi }_{\theta }(s,a)}{{\pi }_{\theta }(s,a)}\\ & ={\pi }_{\theta }(s,a){\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(s,a)\end{array}$$

我们称${\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(s,a)$为得分函数。

后续介绍两种常见的策略形式：

Softmax Policy

$${\pi }_{\theta }(s,a)=\frac{e^{\varphi (s,a{)}^{\mathrm{\top }}\theta }}{\sum _{a^{\prime }}{e}^{\varphi (s,a^{\prime }{)}^{\mathrm{\top }}\theta }}\propto e^{\varphi (s,a{)}^{\mathrm{\top }}\theta }$$

所以

$$\begin{array}{rl}{\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(s,a)& ={\mathrm{\nabla }}_{\theta }(\varphi (s,a{)}^{\mathrm{\top }}\theta -\log \sum _{a^{\prime }}{e}^{\varphi (s,a^{\prime }{)}^{\mathrm{\top }}\theta })\\ & =\varphi (s,a)-\sum _{a^{″}}\frac{e^{\varphi (s,a^{″}{)}^{\mathrm{\top }}\theta }}{\sum _{a^{\prime }}{e}^{\varphi (s,a^{\prime }{)}^{\mathrm{\top }}\theta }}\varphi (s,a^{″})\\ & =\varphi (s,a)-{\mathbb{E}}_{{\pi }_{\theta }}[\varphi (s,\cdot )]\end{array}$$

Gaussian Policy

一个高斯策略为，$a\sim \mathcal{N}(\mu (s),{\sigma }^2)$，其中$\mu (s)=\varphi (s{)}^{\mathrm{\top }}\theta$，${\sigma }^2$为常数，那么

$$\begin{array}{rl}{\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(s,a)& ={\mathrm{\nabla }}_{\theta }\log (\frac{1}{2{\sigma }^2}\exp (-\frac{(a-\mu (s){)}^2}{2{\sigma }^2}))\\ & ={\mathrm{\nabla }}_{\theta }(-\frac{(a-\mu (s){)}^2}{2{\sigma }^2})\\ & =\frac{(a-\mu (s))}{{\sigma }^2}{\mathrm{\nabla }}_{\theta }\mu (s)\\ & =\frac{(a-\mu (s))\varphi (s)}{{\sigma }^2}\end{array}$$

Policy Gradient Theorem

对于任意可微的策略${\pi }_{\theta }(s,a)$，对于之前介绍的三个策略目标函数$J=J_1,J_{avR},\frac{1}{1-\gamma }{J}_{av}v$，策略梯度为

$${\mathrm{\nabla }}_{\theta }J(\theta )={\mathbb{E}}_{{\pi }_{\theta }}[{\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(s,a)Q^{{\pi }_{\theta }}(s,a)]$$

Monte-Carlo Policy Gradient (REINFORCE)

将上述内容总结即可得到REINFORCE算法：

Reducing Variance Using a Critic

上述算法有很高的方差，我们可以使用critic来估计动作价值函数来减少方差：

$$Q_w(s,a)\approx Q^{{\pi }_{\theta }}(s,a)$$

Actor-critic算法保留两个集合的参数：

• Critic：更新动作-价值函数的参数$w$
• Actor：根据critic的建议更新策略参数$\theta$

Actor-critic算法使用下式来近似策略梯度：

$$\begin{array}{rl}{\mathrm{\nabla }}_{\theta }J(\theta )& \approx {\mathbb{E}}_{{\pi }_{\theta }}[{\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(s,a)Q_w(s,a)]\\ \mathrm{\Delta }\theta & =\alpha {\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(s,a)Q_w(s,a)\end{array}$$

Action-Value Actor-Critic

我们使用之前介绍的$\text{TD}(0)$算法优化Critic，结合本讲的内容得到QAC算法：

Compatible Function Approximation

定理（Compatible Function Approximation）

如果如下两个条件满足：

1. 价值函数的近似函数满足

   $${\mathrm{\nabla }}_w{Q}_w(s,a)={\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(s,a)$$

2. 价值函数的参数$w$最小化均方误差

   $$\epsilon ={\mathbb{E}}_{{\pi }_{\theta }}\left[{(Q^{{\pi }_{\theta }}(s,a)-Q_w(s,a))}^2\right]$$

那么策略梯度是准确的，

$${\mathrm{\nabla }}_{\theta }J(\theta )={\mathbb{E}}_{{\pi }_{\theta }}[{\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(s,a)Q_w(s,a)]$$

证明：

$$\begin{array}{rl}{\mathrm{\nabla }}_w\epsilon & =0\\ {\mathbb{E}}_{{\pi }_{\theta }}[(Q^{\theta }(s,a)-Q_w(s,a)){\mathrm{\nabla }}_w{Q}_w(s,a)]& =0\\ {\mathbb{E}}_{{\pi }_{\theta }}[(Q^{\theta }(s,a)-Q_w(s,a)){\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(s,a)]& =0\\ {\mathbb{E}}_{{\pi }_{\theta }}[Q^{\theta }(s,a){\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(s,a)]& ={\mathbb{E}}_{{\pi }_{\theta }}[Q_w(s,a){\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(s,a)]\end{array}$$

Reducing Variance Using a Baseline

我们可以通过减去baseline函数$B(s)$来减少方差，并且这样不会改变梯度：

$$\begin{array}{rl}{\mathbb{E}}_{{\pi }_{\theta }}[{\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(s,a)B(s)]& =\sum _{s\in \mathcal{S}}{d}^{{\pi }_{\theta }}(s)\sum _a{\mathrm{\nabla }}_{\theta }{\pi }_{\theta }(s,a)B(s)\\ & =\sum _{s\in \mathcal{S}}{d}^{{\pi }_{\theta }}B(s){\mathrm{\nabla }}_{\theta }\sum _{a\in \mathcal{A}}{\pi }_{\theta }(s,a)\\ & =0\end{array}$$

一个好的baseline是

$$B(s)=V^{{\pi }_{\theta }}(s)$$

所以我们可以用advantage function $A^{{\pi }_{\theta }}(s,a)$重写策略梯度

$$\begin{array}{rl}{A}^{{\pi }_{\theta }}(s,a)& =Q^{{\pi }_{\theta }}(s,a)-V^{{\pi }_{\theta }}(s)\\ {\mathrm{\nabla }}_{\theta }J(\theta )& ={\mathbb{E}}_{{\pi }_{\theta }}[{\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(s,a)A^{{\pi }_{\theta }}(s,a)]\end{array}$$

Natural Policy Gradient

Natural Policy Gradient与参数设置无关，当以较小的固定量更改策略时，它会找到最接近原始梯度的上升方向

$${\mathrm{\nabla }}_{\theta }^{\text{nat}}{\pi }_{\theta }(s,a)=G_{\theta }^{-1}{\mathrm{\nabla }}_{\theta }{\pi }_{\theta }(s,a)$$

其中$G_{\theta }$是Fisher信息矩阵

$$G_{\theta }={\mathbb{E}}_{{\pi }_{\theta }}[{\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(s,a){\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(s,a{)}^T]$$

利用compatible function approximation，我们要选择满足如下条件的$A$

$${\mathrm{\nabla }}_w{A}_w(s,a)={\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(s,a)$$

显然这里可以取

$$A^{{\pi }_{\theta }}(s,a)={\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(s,a{)}^{T}w$$

所以

$$\begin{array}{rl}{\mathrm{\nabla }}_{\theta }J(\theta )& ={\mathbb{E}}_{{\pi }_{\theta }}[{\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(s,a)A^{{\pi }_{\theta }}(s,a)]\\ & ={\mathbb{E}}_{{\pi }_{\theta }}[{\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(s,a){\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(s,a{)}^{T}w]\\ & =G_{\theta }w\\ {\mathrm{\nabla }}_{\theta }^{\text{nat}}J(\theta )& =w\end{array}$$

即根据critic参数更新actor参数。

Summary of Policy Gradient Algorithms

policy gradient有很多等价形式

$$\begin{array}{rlr}{\mathrm{\nabla }}_{\theta }J(\theta )& ={\mathbb{E}}_{{\pi }_{\theta }}[{\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(s,a)v_t]& \text{REINFORCE}\\ & ={\mathbb{E}}_{{\pi }_{\theta }}[{\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(s,a)Q^w(s,a)]& Q\text{ Actor-Critic}\\ & ={\mathbb{E}}_{{\pi }_{\theta }}[{\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(s,a)A^w(s,a)]& \text{Advantage Actor-Critic}\\ & ={\mathbb{E}}_{{\pi }_{\theta }}[{\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(s,a)\delta ]& \text{TD Actor-Critic}\\ & ={\mathbb{E}}_{{\pi }_{\theta }}[{\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(s,a)\delta e]& \text{TD}(\lambda )\text{ Actor-Critic}\\ G_{\theta }^{-1}{\mathrm{\nabla }}_{\theta }J(\theta )& =w& \text{Natural Actor-Critic}\end{array}$$

Critic使用策略评估（例如MC或者TD）来估计$Q^{\pi }(s,a),A^{\pi }(s,a)\text{ or }{V}^{\pi }(s)$