オフポリシー学習の完全ガイド：基礎から安定化技術とオフライン強化学習まで
エバープレイ編集部オフポリシー学習とは — 概要
オフポリシー学習（off-policy learning）は、強化学習（Reinforcement Learning; RL）の一形態で、エージェントが学習に用いるデータ（遷移 s, a, r, s'）が、現在改善しようとしている方策（ターゲット方策π）とは異なる方策（行動方策、ビヘイビア方策μ）によって生成されている場合の学習手法を指します。簡単に言えば「別の方策で集めた経験から、別の（より良い）方策を学ぶ」ことを可能にする枠組みです。
オンポリシーとの違い
- オンポリシー学習：データ収集と方策更新に同じ方策を使う（例：SARSA、A2C）。
- オフポリシー学習：データは行動方策μで集め、別のターゲット方策πを学ぶ（例：Q-learning、DQN、DDPG）。
オフポリシーの利点は、過去のログや別方策のデータを再利用できる点、探索と学習を分離して効率化できる点、バッチ（オフライン）学習への適用が容易な点などです。一方で分散やバイアス、発散（不安定性）などの課題もあります。
基本原理：重要度サンプリングと値更新
オフポリシー学習では、行動方策μとターゲット方策πの差を補正するために重要度サンプリング（importance sampling; IS）が古典的に用いられます。ある時刻tの重要度比は次のように書けます：
ρ_t = π(a_t | s_t) / μ(a_t | s_t)
この比を使って、μで集めた報酬をπの期待に変換し、期待値や方策勾配を推定します。ただしISは分散が大きく、長期依存のトラジェクトリでは不安定になるため、分割（per-decision IS）、トランケーション（clipping）、再重み付け（weighted IS）などの工夫が必要です。
代表的アルゴリズム
- Q-learning（Watkins）：オフポリシーの基本。ベルマン最適性方程式に基づく価値反復で、行動選択はε-greedyなどで探索するが、更新はgreedyな最大化を目指す。
- DQN（Deep Q-Network）：関数近似（深層ネットワーク）を用いたQ-learningの拡張。経験再生バッファとターゲットネットワークで学習を安定化。
- Double Q-learning / Double DQN：Q値の過大評価を防ぐ改良（2つの推定器を使って分離する）。
- Off-policy Actor-Critic系：DDPG（連続行動用）、TD3、SAC（確率的ポリシー）など。これらは行動生成と学習を分離し、経験再生を利用してオフポリシーに対応する。
- オフライン／バッチ強化学習手法：BCQ（Batch-Constrained Q-learning）、CQL（Conservative Q-Learning）など、既存のログのみで学習する際の分布シフトや外挿誤差を抑えるための手法。
オフポリシー学習の課題（なぜ難しいか）
- 高分散・バイアスのトレードオフ：重要度サンプリングは理論的に正しいが分散が大きい。トランケーションや近似は分散を減らすがバイアスを生む。
- 関数近似とブートストラップの相互作用（“deadly triad”）：関数近似（ニューラルネット）、ブートストラップ（TD更新）、オフポリシー学習の組合せで発散・不安定化することが知られています（Sutton & Barto 等）。
- 分布シフトと外挿誤差（extrapolation error）：学習中のπがログデータの分布から外れると、価値推定が誤りやすく、誤った値関数に基づいてさらに悪い方策を学んでしまうことがある（特にオフライン学習で深刻）。
安定化のための技術
- 経験再生バッファ（Experience Replay）：データの相関を減らしサンプル効率を向上。
- ターゲットネットワーク：更新の目標を遅延させて発散を抑制。
- Double Q学習：過大評価を軽減。
- 重要度比のクリッピングやリトレース（Retrace）、V-trace：重要度補正の分散を減らすための手法。Retrace（Munosら）は安全で効率的な多段重要度補正の例。
- 保守的な更新（CQL）やバッチ制約（BCQ）：未知領域への外挿を抑え、オフライン学習での安全性を高める。
オフライン（バッチ）強化学習との関係
オフポリシー学習はオフライン強化学習（既存のログのみで学ぶ設定）の基礎です。ただしオフラインでは探索ができないため、データに存在しない状態・行動に対して推定が外挿されやすく、標準的なオフポリシー手法では不安定になります。これに対処するため、BCQやCQL、BRACなどのアルゴリズムが提案されており、「学習中の方策がデータのカバレッジ内に留まる」工夫（挙動方策に近い方策に制約するやり方など）が重要になります。
オフポリシー評価（Off-Policy Evaluation; OPE）
OPEは「あるターゲット方策πの性能を、別の方策μで集めたログから正確に推定する」問題です。実用上、特に医療や推薦、広告などで重大な意思決定を行う前の安全評価に重要です。代表的手法：
- 重要度サンプリング（IS）、加重IS（WIS）
- 逐次（per-decision）ISで分散低減
- ドブリ（Doubly Robust; DR）推定器：モデルベース推定（予測）とISを組み合わせて分散とバイアスを低減
- FQE（Fitted Q Evaluation）などの回帰型手法やモデルベース法
実装上の実践的な注意点
- 行動方策μが既知であれば重要度比で補正可能だが、現実にはμが不明な場合が多い—そのときはμの推定（行動クラス分類など）が必要で、この推定誤差が評価に影響する。
- 重要度比の値はクリッピング（例：max/minで閾値）するか、分母が小さくならないように工夫する。V-traceやRetraceはこの問題に対する実用的解。
- 報酬スケーリング、正規化を行うと学習の安定性が向上する。
- オフライン設定で学習する際は、方策をビヘイビアにあまり遠ざけないよう制約を設ける（KL制約、行動模倣混合、保守的正則化など）。
- シミュレーションと現実データを混ぜる際は、ドメイン差（シミュレータと実世界の違い）を意識し、ドメイン適応や不確実性推定を考慮する。
応用例
- ロボットや自律走行：シミュレーションで大量データを集め、実世界方策に転移する際にオフポリシー手法を利用。
- 推薦システム・広告：過去ログ（ユーザーのクリック履歴）からより良い推薦方策を学ぶ。
- 医療・ヘルスケア：臨床ログから治療方針を評価・学習するが、安全性と評価の信頼性が重要。
- 金融取引：過去取引データから戦略を学ぶ（リスク管理と分布外推定がキー）。
まとめ
オフポリシー学習は、データ効率の高さや過去ログの利用といった強力な利点を持つ一方で、重要度補正や関数近似による不安定性、分布シフトに起因する外挿誤差などの課題があり、実用化には慎重な設計が必要です。近年はRetraceやV-trace、Double Q、ターゲットネットワークや経験再生といった安定化手法、そしてオフライン向けにBCQやCQLのような保守的手法やOPE（重要度法、Doubly Robust等）の発展により、実用領域が広がっています。実装では重要度比の扱い、報酬正規化、行動方策の推定や方策制約など、具体的なトリックと理論的理解の両方が重要です。
参考文献
- Richard S. Sutton and Andrew G. Barto, "Reinforcement Learning: An Introduction" — online book
- Volodymyr Mnih et al., "Human-level control through deep reinforcement learning" (DQN), Nature 2015
- Hasselt, G. van, "Deep Reinforcement Learning with Double Q-learning" (Double DQN), arXiv 2015
- Lillicrap et al., "Continuous control with deep reinforcement learning" (DDPG), arXiv 2015
- Haarnoja et al., "Soft Actor-Critic" (SAC), arXiv 2018
- Munos et al., "Safe and efficient off-policy reinforcement learning" (Retrace), arXiv 2016
- Espeholt et al., "IMPALA: Scalable Distributed Deep-RL with Importance Weighted Actor-Learner Architectures" (V-trace), arXiv 2018
- Fujimoto, Meger, Precup, "Off-Policy Deep Reinforcement Learning without Exploration" (BCQ), arXiv 2018
- A. Kumar et al., "Conservative Q-Learning for Offline Reinforcement Learning" (CQL), arXiv 2020
- Q-learning — Wikipedia (概説と歴史的背景）
投稿者プロフィール
