Prioritized Experience Replay（PER）徹底解説：TD誤差に基づく優先サンプリングでDQN系の学習効率を最大化する実装ガイド

2025年11月20日 最終更新日時 : 2025年11月20日 エバープレイ編集部

はじめに — Prioritized Experience Replay とは何か

強化学習（Reinforcement Learning, RL）におけるリプレイバッファ（経験再生：Experience Replay）は、過去の遷移（状態、行動、報酬、次状態、終了フラグ）を蓄え、ミニバッチ学習のためにランダムにサンプリングすることで、サンプルの相関を減らしデータ効率を高める手法です。Prioritized Experience Replay（優先経験再生、以下 PER）は、全ての遷移を均等に扱う代わりに「学習にとって重要な経験」を優先的にサンプリングすることで学習効率をさらに改善するための手法です（Schaul et al., 2015）。Deep Q-Network（DQN）などのオフポリシー手法との相性が良く、実装上の工夫により効果的に学習速度と最終性能を向上させます。

基本アイデアと直感

PER の基本アイデアは簡潔です。ある経験が「どれだけ学習の改善に貢献するか」は、その経験に対するTD誤差（Temporal-Difference error, δ）で表現できるという直感に基づきます。TD誤差が大きい遷移は、現在の価値評価が大きく間違っている可能性が高く、その遷移を学習に多く使うことが有益だと考えられます。従って、各遷移に「優先度（priority）」を割り当て、その優先度に応じてサンプリング確率を決定します。

確率・重み付けの定式化

代表的な実装（確率的優先付け）では、各遷移 i に対して優先度 p_i を以下のように定義します。

  • p_i = |δ_i| + ε （ε はゼロ除去の小さな定数）

サンプリング確率は優先度のべき乗で調整され、パラメータ α によって優先度の強さを制御します：

  • P(i) = p_i^α / Σ_k p_k^α

これにより α = 0 のときは通常の均等サンプリングと同じになり、α が大きいほど高い優先度を持つ遷移がより頻繁に選ばれます。

優先サンプリングは学習バイアス（非一樣分布のサンプル）が生じるため、重要度サンプリング（Importance Sampling, IS）による補正を行います。重みは以下で与えられます：

  • w_i = (1 / (N * P(i)))^β

ここで N はバッファサイズ、β は補正強度を表すパラメータで、通常訓練の進行とともに β を 0 から 1 に線形に増やしていき、最終的に偏りをほぼ補正するようにします。実装上は数値安定化と学習率調整のために、w_i を max_w で割って正規化することが多いです。

優先付けの方式：比例（proportional）とランク（rank）

PER には主に二つの優先付け方式があります。

  • 比例方式（proportional）：前述の p_i = |δ_i| + ε を直接用いる。確率は p_i^α に比例する。
  • ランク方式（rank-based）：TD誤差の大きさで遷移をランク付けし、ランク r_i に対して p_i = 1 / r_i^α のように優先度を与える方式。極端な大きな誤差による過度な偏りを抑える利点がある。

ランク方式は outlier（外れ値）に対して頑健ですが、比例方式のほうが理論的直感に基づき実行効率が良いことが多く、SumTree を使った効率的サンプリング（後述）と組み合わせやすいです。

効率的データ構造（SumTree／セグメントツリー）

優先度に基づくサンプリングを高速に行うために、SumTree（総和木）やセグメントツリーがよく使われます。これは二分木で葉ノードに各遷移の優先度を格納し、内部ノードは子ノードの和を保持します。根の値は全優先度の和 Σ_k p_k^α に対応します。

サンプリングは以下のように O(log N) で可能です：根から乱数 r ∈ [0, Σ] を引数に、左子の和と比較しながら探索し葉を選ぶ。優先度の更新も葉を更新しながら親ノードへ伝搬することで O(log N) で行えます。記憶領域は葉数 N に対してツリー全体で O(N)（概ね 2N-1 ノード）となります。

具体的な学習の流れ（擬似的に）

  • リプレイバッファに遷移を保存。新規遷移は通常、最大優先度（または大きめの値）を与えて初期サンプリングされやすくする。
  • 学習ステップでバッチサイズ分を PER に従ってサンプリング（確率 P(i)）。サンプリング時に各遷移の IS 重み w_i を計算・返却。
  • ミニバッチでTD誤差 δ_i を計算し、損失 L を重み w_i で調整して勾配を計算・適用。
  • 各遷移の優先度 p_i を新たな |δ_i| + ε に更新し、データ構造へ反映。
  • β を徐々に増やす（例：初期 β0 から最終 1.0 まで線形増加）ことで学習終盤に近づくほどバイアス補正を強める。

実装上の注意・ハイパーパラメータ

代表的な設定（Schaul et al., 2015 や多くの実装例）：

  • α（優先度の強さ）: 0.4～0.7 程度（論文では 0.6 を採用することが多い）。
  • β（IS 重みの補正）: 初期 β0（例 0.4）から最終 1.0 へ線形増加。
  • ε（小さな定数）: 1e-6～1e-3。優先度ゼロ回避と数値安定化のため。
  • 優先度のクリッピング: 極端な大きさを抑えるために上限を設定することがある。
  • 新規サンプルの優先度: 新しく保存する遷移は一般に現在の最大優先度を与える（まだ誤差が未計算のため）。

また、バッチ処理の際に IS 重みを損失に掛ける実装（例：L = (w_i * δ_i^2).mean()）が一般的です。正規化のために w_i を max(w) で割るケースも多く見られます。

利点と短所（現実的なトレードオフ）

  • 利点
    • 学習効率の向上：重要な遷移を重点的に学習することで収束が速くなることが多い。
    • サンプル効率の改善：限られたサンプルからより効果的に学習可能。
  • 短所 / 注意点
    • バイアスの導入：均等サンプリングではないため方策推定にバイアスが入る（IS 重みで部分補正）。
    • 過学習や外れ値への過度な依存：TD誤差が大きいがノイズ由来の遷移に過度に集中するリスク。
    • 実装の複雑化：SumTree などの特殊データ構造や優先度更新の管理が必要。

改良・派生・現代的な文脈での使い方

PER は単体でも有効ですが、以下のような他の手法と組み合わせることでより強力になります：

  • Rainbow：PER を含む複数の DQN 改良（Double DQN、Dueling、Multi-step、Distributional RL、NoisyNet など）を統合した手法（Hessel et al., 2018）。
  • n-step リターン：複数ステップのリターンを使うと、より長期的な誤差に基づく優先付けが可能。
  • 分布的強化学習やアクター・クリティック系との併用：オフポリシーであれば応用可能だが、注意深い設計が必要。

また、優先度の推定に TD誤差以外（例：不確実性、エピソードレベルのメタ指標）を使う研究も進んでおり、単純な δ に依存する手法の欠点（ノイズや外れ値）を緩和する試みが行われています。

実装例とライブラリ

多くの RL ライブラリが PER を実装しています。例えば Stable-Baselines (および Stable-Baselines3) や OpenAI Baselines、RLlib、Dopamine などがあり、SumTree を用いた実装が一般的です。実装時は優先度更新の頻度やメモリの管理、並列環境での扱い（複数ワーカーからの更新）に注意する必要があります。

まとめ

Prioritized Experience Replay は、過去経験の中から「学習にとって重要な」ものを優先して再利用することでサンプル効率と学習速度を向上させる強力な手法です。比例方式 vs ランク方式、α・β パラメータ、SumTree による効率的サンプリングといった実装の要点を押さえれば、DQN 系列のオフポリシー手法に比較的容易に導入できます。一方で、バイアスや外れ値依存のリスク、実装の複雑さには注意が必要です。実務では PER を他の改良（n-step、distributional、Double DQN 等）と組み合わせることで、より堅牢な性能向上が期待できます。

参考文献

カテゴリー
IT
前の記事
Dueling DQNとは？価値とアドバンテージを分離してDQNの学習を安定・高速化する深層強化学習のアーキテクチャNew!!
2025年11月20日
次の記事
Rainbow DQNとは何か？分布的強化学習と6つの改良を統合した最先端アルゴリズム解説New!!
2025年11月20日