值函數方法的基本套路是先學 或再根據它們誘導出策略。而策略梯度方法走的是另一條路直接把策略寫成帶參數的可導函數然后直接優化它。這在連續動作、復雜策略結構以及需要隨機策略的場景里尤其重要。適合讀者已經理解 DQN但還不清楚 policy gradient、Actor-Critic、baseline / advantage 與 off-policy 校正如何連起來的人。預計閱讀10 分鐘。關鍵詞策略梯度、Actor-Critic、優勢函數、重要性采樣。值函數方法的基本套路是先學V或Q再根據它們誘導出策略。而策略梯度方法走的是另一條路直接把策略寫成帶參數的可導函數然后直接優化它。這在連續動作、復雜策略結構以及需要隨機策略的場景里尤其重要。1. 策略梯度直接優化動作概率設參數化策略為強化學習目標則寫成也就是策略誘導的軌跡其期望回報要盡可能大。策略梯度定理給出一個極為關鍵的公式圖 1 的直覺可以概括成一句話如果某個動作帶來的回報更高就提高它在該狀態下的概率如果某個動作效果更差就降低它的概率。其中提供“怎樣改概率”的方向而提供“這個動作值不值得鼓勵”的信號。2. Actor-Critic讓 Critic 為 Actor 提供學習信號策略梯度公式里雖然寫著但這個量通常并不好直接得到。一個自然辦法是再訓練一個價值估計器來幫助策略學習。這就得到 Actor-Critic。Actor負責根據狀態選擇動作更新策略參數Critic負責估計價值函數評價當前行為好不好。在最常見的 TD 型 Actor-Critic 里Critic 會計算 TD 誤差然后Critic 用它來更新自己的價值估計Actor 則把它當作優勢信號更新策略所以Actor-Critic 的精髓就在于一個負責做決策一個負責打分TD error 把二者連接成閉環。3. Baseline 與 Advantage只看“相對好壞”直接用回報或動作價值做策略梯度往往方差較大。一個常見技巧是減去 baseline只要b(S)只依賴狀態、不依賴動作它不會改變策略梯度的期望方向但通常能顯著降低方差。最常用的 baseline 就是狀態價值函數于是得到優勢函數圖 3 說明了 advantage 的核心直覺不要只看動作本身好不好而要看它是否“比這個狀態下的平均水平更好”。這樣一來學習信號會更加聚焦于“相對優勢”噪聲通常更小。在 A2C 一類方法里優勢函數常用一步 TD 誤差近似這也是為什么 TD error 在 Actor-Critic 里如此核心它既能更新價值又能充當策略更新的 advantage 近似。4. on-policy 與 off-policy數據從哪里來真的很重要標準策略梯度大多是 on-policy 的也就是說更新策略時所用的數據要由當前策略自己采樣得到。但在很多實際場景里我們又希望復用舊數據、日志數據或者由另一個行為策略產生的數據。此時就會面臨一個分布不一致的問題數據來自行為策略我們真正想優化的是目標策略。如果直接拿這些數據更新會產生偏差。重要性采樣就是用來做這個校正的。5. 重要性采樣用權重糾正分布偏差重要性權重定義為它衡量的是在狀態 st下當前樣本動作在目標策略下相對行為策略有多“合理”。這張圖可以這樣理解如果和接近那么也接近 1如果某個樣本動作在目標策略下更常見那么它的權重會更大如果它在目標策略下很罕見那么它的貢獻會被壓低。通過把樣本貢獻乘上我們就能在一定條件下用行為策略生成的數據去近似目標策略下的梯度。但重要性采樣并不是“免費午餐”。它最大的副作用是方差可能會變大尤其當很大時更新會非常不穩定。因此實踐中常會配合截斷或裁剪權重更穩定的 surrogate objective像 V-trace、Retrace 這樣的分布校正技巧。6. 把 day6 的主線串起來如果把本篇壓縮成一條邏輯鏈那就是策略梯度告訴我們可以直接優化策略Actor-Critic告訴我們可以讓 Critic 估計價值為 Actor 提供低方差學習信號baseline / advantage告訴我們學習時應盡量只保留“相對好壞”重要性采樣告訴我們如果想復用行為策略的數據就必須對分布偏差做校正。你會發現這些方法雖然名字很多但圍繞的始終還是同一個問題怎樣穩定而高效地提升長期回報。到這里整套連載的主線也就基本閉環了前半部分用 Bellman 思想估計長期價值中間部分用 TD / Q-learning / DQN 學會控制后半部分則直接優化策略并讓 Critic 幫助策略學習。以后再讀強化學習論文時可以先問三個問題它優化的是價值還是直接優化策略學習信號來自完整回報、TD target還是 advantage數據是 on-policy 還是 off-policy如果是后者如何做分布校正很多看起來復雜的方法往往都能被這三問很快定位。