Multi-step DQNとは何か？n-stepリターンの原理と実装ポイントを徹底解説
エバープレイ編集部Multi-step DQN とは
Multi-step DQN（マルチステップ DQN）とは、Deep Q-Network（DQN）の学習目標に「nステップ（n-step）リターン」を取り入れた強化学習手法の総称です。従来の1ステップTD（1-step TD）ターゲットでは次時刻の即時報酬とブートストラップした値のみを使うのに対し、nステップリターンは将来の複数ステップ分の報酬を直接合算してターゲットを作ることで、報酬の伝播を速め、学習効率やサンプル効率を向上させます。近年のDQN系アルゴリズム（例：Rainbow）でも重要な構成要素として採用されています。
背景：Q学習とDQNの基本
- Q学習：行動価値関数Q(s,a)を更新して最適方策を学ぶオフポリシー手法。古典的には1ステップのベルマン方程式を使う。
- DQN：深層ニューラルネットワークでQ関数を近似し、経験再生（experience replay）、ターゲットネットワークなどの工夫で安定化した手法（Mnih et al., 2015）。
- 従来のDQNは1ステップTDターゲットを用いるが、報酬が希薄な環境では報酬情報の伝播が遅く、学習が進みにくいという課題がある。
nステップリターン（定義と直感）
nステップリターンは時刻tにおけるターゲットG_t^{(n)}を次のように定義します（割引率γを用いる）：
G_t^{(n)} = r_t + γ r_{t+1} + γ^2 r_{t+2} + ... + γ^{n-1} r_{t+n-1} + γ^n * bootstrap_value
bootstrap_valueは通常、t+n時点での状態の推定価値（例えば max_a Q_target(s_{t+n}, a) や Double DQNの式）です。直感的には「nステップ先までの実際に観測した累積報酬を取り込み、その先は近似値でブートストラップする」ことで、1ステップより広い将来情報を学習信号に反映できます。
Multi-step DQN のアルゴリズム概要
- 経験の収集：エージェントは通常通り環境を実行して遷移を収集する。ただし、nステップターゲットを作るために、時刻tからt+nまでの報酬列と最終状態を保持する必要がある。
- ターゲット計算：バッチ中の各サンプルに対して、上記のG_t^{(n)}を計算する。bootstrap部分は別に保持するターゲットネットワークで評価することが安定化に寄与する。
- 損失・更新：ネットワークは通常のDQNと同様、Q(s_t,a_t)とG_t^{(n)}の差（例：MSE）を用いて重み更新を行う。
- Replay Bufferの管理：nステップ分の報酬をまとめて保存する手法（n-stepバッファ）や、単一の遷移のみを保存してサンプリング時にnステップを再構成する方法がある。エピソード終了が間に挟まる場合は短いステップ数でターゲットを作成する。
実装上の具体的留意点
- Replay Buffer と n-step：実装は主に二通り。①収集時にnステップ累積報酬とt+nの状態を一つのサンプルとして格納する（効率的）。②単一遷移を格納し、サンプリング時にバッファから連続した遷移を取り出して累積報酬を計算する（柔軟）。
- エピソード終端の扱い：エピソードがt+nより早く終わる場合、終了時点までの実際の報酬のみを使い、bootstrapは行わない（もしくはbootstrapを0とする）。
- オフポリシー性とバイアス：経験再生を使うと、集めた遷移は学習中の最新方策とは異なる（オフポリシー）ことが一般的。nステップをそのまま使うとオフポリシーなバイアスが入りやすい。実務では多くの DQN 変種がこのバイアスをある程度無視してもうまく動いているが、理論的に安全に扱うには重要性重み付け（importance sampling）や Retrace のような補正手法を用いる。
- 優先経験再生（Prioritized Replay）との相性：nステップは優先経験再生と合わせて使われることが多い（Rainbow等）。ただし、優先度計算はn-stepターゲットに基づくTD誤差で行うべき。
- Double DQN / Dueling / Distributional との併用：n-stepターゲットはDouble DQNやDuelingアーキテクチャ、分布的（distributional）手法とも容易に組み合わせられる。多くのSOTA実装は複数の改善を同時に組み合わせている。
オフポリシーでの補正（重要性重み付け・Retrace等）
オフポリシーにおけるnステップ適用は注意が必要です。行動ポリシーが変化する中で、t→t+nの間に実際に使われた行動確率と現在の学習ポリシーの行動確率が異なるため、単純累積報酬はバイアスを生むことがあります。以下のような対処法があります：
- 重要性重み（importance sampling, IS）：遷移系列の確率比を使って重み付けする。ただし、ISは分散が大きくなりやすい。
- 分散抑制のためのクリッピング：IS比を上限でクリップする手法（例：IS比を1に制限）によって分散を抑え、現実的に安定化を図ることが多い。
- Retrace（Munos et al., 2016）等のアルゴリズム：オフポリシーでも安全に多段のターゲットを使うための重み付けとトレードオフ設計を提供する手法。
メリット・デメリット（なぜ使うか、注意点）
- メリット
- 報酬の伝播が速くなる：遠方の報酬が直接ターゲットに反映されるため、価値関数の更新が早い。
- サンプル効率の向上：短いエピソードや報酬希薄環境で有効。
- 実務的にはDQNの安定性や収束速度を改善することが多い（経験的知見）。
- デメリット / リスク
- バイアスと分散のトレードオフ：nを大きくするとバイアスは減るが分散は増えやすい。逆に小さくすると遅い伝播。
- オフポリシー性による誤差：Replay Bufferと併用する場合、補正をしないと方策の不一致によるバイアスが入る。
- 実装複雑性：nステップ累積報酬の管理や優先経験再生との組合せで実装がやや複雑になる。
実務での代表的な利用例
- Rainbow：DQN の複数の改善（Double, Dueling, Prioritized Replay, Distributional, n-step 等）を統合した手法で、n-stepは性能向上に寄与した（Hessel et al., 2018）。
- A3C / A2C：ポリシー勾配系の手法だが、A3Cではnステップリターンを活用して高速に状態価値を更新する（Mnih et al., 2016）。
- 実装例：Atari や連続制御タスクでn=3〜10程度がよく使われる。Rainbowでは n=3 を採用している例が多い。
実装のためのハイパーパラメータ指針
- n（ステップ数）：3〜10がよく使われる。環境や報酬の希薄さ、遅延報酬の度合いで調整。
- γ（割引率）：通常0.99など。nとγの組合せがターゲットの重み付けに影響する。
- 学習率・バッチサイズ：nを増やすとターゲットの分散が増えることがあるため、学習率を少し下げる・バッチサイズを増やすなどの調整が必要になる場合がある。
- 優先度の計算：TD誤差は n-step ターゲット基準で計算する。
擬似的な処理フロー（実装イメージ）
- 1) 環境をステップしつつ、遷移を一時バッファに貯める。
- 2) 時刻tでnステップ分の報酬を得たら、(s_t,a_t, G_t^{(n)}, s_{t+n}, done) をReplay Bufferに格納する。
- 3) 学習時にバッチをサンプリングし、各サンプルのQ(s_t,a_t)とG_t^{(n)}との差で損失を計算。
- 4) 損失でQネットワークを更新し、一定ステップ毎にターゲットネットワークを同期する。
まとめ
Multi-step DQNは、DQNの学習目標にnステップリターンを組み込むことで報酬の伝播を高速化し、サンプル効率を改善する実践的かつ効果的な手法です。理論的にはオフポリシー性によるバイアスや分散の問題があり得ますが、経験的にはターゲットネットワーク、優先経験再生、Double DQNなどの他の改善と組み合わせることで高い性能を示します。実装ではReplay Bufferの設計やnの選択、オフポリシー補正の有無といった点に注意してチューニングするのが成功の鍵です。
参考文献
- Playing Atari with Deep Reinforcement Learning — Mnih et al., 2013 (arXiv)
- Human-level control through deep reinforcement learning — Mnih et al., Nature 2015
- Asynchronous Methods for Deep Reinforcement Learning (A3C) — Mnih et al., 2016
- Rainbow: Combining Improvements in Deep Reinforcement Learning — Hessel et al., 2018
- Reinforcement Learning: An Introduction — Sutton & Barto
- Prioritized Experience Replay — Schaul et al., 2016
- Deep Reinforcement Learning with Double Q-learning — van Hasselt et al., 2016
- Safe and Efficient Off-Policy Reinforcement Learning — Munos et al., 2016 (Retrace)
投稿者プロフィール
