アクタークリティックとは：強化学習の安定化を実現する代表アルゴリズムと基本概念の解説
エバープレイ編集部アクタークリティックとは
アクタークリティック（Actor-Critic）は、強化学習（Reinforcement Learning, RL）の代表的なアルゴリズム設計パターンの一つで、方策（Policy）を直接更新する「アクター（Actor）」と、状態価値や行動価値を推定する「クリティック（Critic）」の二つの役割を明確に分けて学習させる手法です。アクターは行動を生成するモデル（確率的・決定的いずれも可）、クリティックはその行動の良し悪し（価値）を評価し、アクターの更新に利用されます。
基本概念と直感
従来の方策勾配法（例：REINFORCE）は「累積報酬に比例して方策を強化する」という単純な仕組みですが、分散（variance）が大きく学習が不安定になりがちです。アクタークリティックは「クリティックで価値を予測し、それを基準（baseline）としてアクターの勾配を計算する」ことで、方策勾配の分散を低減し、サンプル効率を改善します。さらにクリティックは時刻差（TD）学習でブートストラップ（自身の予測を使った更新）を行うため、より少ないサンプルで学習できる利点があります。
代表的な数式（簡潔版）
以下はアクタークリティックでよく使われる主要な式です（記号は一般的なもの）。
- 方策勾配（Advantage を用いる形式）:
∇_θ J(θ) = E[∇_θ log π_θ(a|s) · A(s,a)]
- アドバンテージ（Advantage）:
A(s,a) = Q(s,a) − V(s)（近似的には TD 誤差 δ を使うことが多い）
- TD 誤差:
δ = r + γ V_φ(s') − V_φ(s)
- クリティックの損失（平均二乗誤差）:
L(φ) = E[δ^2] = E[(r + γ V_φ(s') − V_φ(s))^2]
- 総合損失（よく使われる形）:
L_total = −E[log π_θ(a|s) A(s,a)] + c_1 · L(φ) − c_2 · H(π_θ)
（Hはエントロピー正則化、c_1,c_2は重み）
主な派生アルゴリズムとバリエーション
- A2C / A3C（Advantage Actor-Critic / Asynchronous Advantage Actor-Critic）
A3C（Mnih et al., 2016）は複数のスレッドで環境を並列実行して安定化・効率化した手法。A2Cはその同期版で、実装が単純。
- PPO（Proximal Policy Optimization）
PPO（Schulman et al., 2017）はアクタークリティック的枠組みで「方策更新の変化量を制限する」目的のクリップ付き損失を導入し、安定性と使いやすさを両立。
- DDPG / TD3（決定論的アクタークリティック）
DDPG（Lillicrap et al., 2015）は連続アクション空間向けの決定論的方策（deterministic policy）を用いるオフポリシーなアクタークリティック。TD3 は DDPG の改善版で過学習や過大評価を抑える工夫を加えている。
- SAC（Soft Actor-Critic）
SAC（Haarnoja et al., 2018）は最大エントロピー強化学習の枠で確率的方策を学習するオフポリシーなアクタークリティック。探索と安定性のトレードオフを扱うのに有効。
利点と欠点（トレードオフ）
- 利点
- 方策勾配単独より分散が小さく、学習が安定しやすい。
- TDブートストラップによりサンプル効率が良い（特にオフポリシー時）。
- 連続・離散両方の行動空間に適用可能で、実用的なアルゴリズムが多い（PPO, SAC 等）。
- 欠点
- クリティックの誤差がアクターにバイアスを与える（ブートストラップによるバイアス）。
- アクターとクリティックの共同最適化は不安定になりやすく、ハイパーパラメータに敏感。
- オフポリシーでの安定化のためにターゲットネットワークやリプレイバッファ等が必要になる場合がある。
実装上の重要ポイント（現場の知見）
- アドバンテージの正規化：A(s,a) を平均0・分散1に正規化すると学習が安定することが多い。
- GAE（Generalized Advantage Estimation）：Schulman らが提案した GAE はバイアスと分散のトレードオフをλで制御でき、実務で広く使われる。
- エントロピー正則化：探索を維持するために方策のエントロピーを損失に加える（PPO等で標準）。
- ターゲットネットワーク：オフポリシー法（DDPG, TD3, SAC 等）ではターゲットクリティックを用いた安定化が必要。
- リプレイバッファの有無：オンポリシー（A2C/A3C/PPO）はリプレイを使わないが、オフポリシーは経験再利用で効率化する。
- 学習率・最適化器：アクターとクリティックで別の最適化器・学習率を使うことが多い。勾配クリッピングも有効。
応用分野と実例
アクタークリティックはロボティクス（連続制御）、ゲーム（Atari から高度な戦略ゲームまで）、自動運転やポートフォリオ最適化など多様な分野で使われています。実務では PPO や SAC が「まず試す」アルゴリズムとして定着しており、OpenAI や DeepMind を含む多くの研究・実装例が存在します。
よくある誤解と注意点
- 「クリティックが正確ならアクターは最適になる」：クリティックの誤差はアクターに直接影響するため、クリティックが偏った推定をすると学習が破綻する。
- 「オンポリシーは常に安全」：オンポリシー法がサンプル効率で劣ることも多く、実運用では学習時間とデータ制約のバランスを考える必要がある。
- 「アクターは必ず確率的でなければならない」：決定論的アクター（DDPG等）も存在し、特に高次元連続制御で有効な場合がある。
まとめ（実務者へのアドバイス）
アクタークリティックは、方策勾配の分散低減と価値推定の利点を組み合わせた強力な枠組みです。実装・運用ではクリティックの安定化（ターゲットネットワーク、適切な損失関数）、アドバンテージ推定（GAE 等）、探索の維持（エントロピー）といった技術が重要になります。まずは安定性と実装の容易さから PPO や A2C を試し、必要に応じて DDPG/TD3/SAC 等の連続制御向け手法へ拡張すると良いでしょう。
参考文献
- Richard S. Sutton and Andrew G. Barto, "Reinforcement Learning: An Introduction" (2nd edition)
- Mnih et al., "Asynchronous Methods for Deep Reinforcement Learning" (A3C), 2016
- Schulman et al., "Proximal Policy Optimization Algorithms" (PPO), 2017
- Lillicrap et al., "Continuous control with deep reinforcement learning" (DDPG), 2015
- (DDPG 実装・解説資料)
- 参考（DDPG 関連）
- Haarnoja et al., "Soft Actor-Critic" (SAC), 2018
- Sutton et al., "Policy Gradient Methods for Reinforcement Learning with Function Approximation", 2000
- Schulman et al., "High-Dimensional Continuous Control using Generalized Advantage Estimation", 2015
- 関連参考：Mnih et al., "Human-level control through deep reinforcement learning" (DQN), 2015（価値関数近似の文脈理解に有用）
