チホノフ正則化入門：逆問題の安定化とλ選択・L設計・応用ガイド
エバープレイ編集部チホノフ正則化とは
チホノフ正則化（Tikhonov regularization）は、線形および非線形の逆問題や回帰問題における「不適切に定義された（ill-posed）」または「不安定」な推定を安定化するための代表的な手法です。測定ノイズや係数行列の特異性により、単純に最小二乗解を求めると解が非常に大きく発散したりノイズを増幅したりします。チホノフ正則化は、目的関数にペナルティ項を付加して解の「大きさ」や「滑らかさ」を抑え、より実用的で安定した解を得る方法です。
数学的定式化
最も基本的な形は線形問題 Ax ≈ b に対して、以下の正則化された最小化問題を解くことです：
minimize ||Ax − b||_2^2 + λ ||L x||_2^2
ここで A は観測行列、b は観測ベクトル、x は未知のパラメータ、L は正則化行列（しばしば単位行列 I や差分行列が用いられる）、λ (>0) は正則化パラメータです。
この最小化は正規方程式により解析的に解け、以下を満たします：
(A^T A + λ L^T L) x = A^T b
特に L = I のときは一般に「リッジ回帰」や単純なチホノフ正則化と呼ばれ、解は (A^T A + λ I)^{-1} A^T b となります。
特異値分解（SVD）による解釈
A の特異値分解 A = U Σ V^T を用いると、L = I のケースのチホノフ解は次の形で表せます：
x_λ = V diag(σ_i / (σ_i^2 + λ)) U^T b
ここで σ_i は A の特異値です。各特異ベクトル方向の係数はフィルタ係数 f_i = σ_i / (σ_i^2 + λ) によって抑えられ、特に小さい特異値方向（ノイズに敏感な方向）は強く減衰されます。すなわちチホノフ正則化はスペクトルフィルタリングとして解釈できます。
ベイズ的解釈
チホノフ正則化はベイズ推定とも深く関係します。観測ノイズが平均零の独立なガウス分布（分散 σ^2）で、未知パラメータに対してゼロ平均で分散 τ^2 のガウス事前分布を仮定すると、MAP（最尤事前推定）は次を最小化します：
||Ax − b||_2^2/(2σ^2) + ||x||_2^2/(2τ^2)
これは λ = σ^2 / τ^2 のチホノフ正則化に対応します。L が単位行列でない場合も、L を用いた二次形は事前分散の逆行列に対応します。
正則化パラメータ λ の選び方
- 交差検証（Cross-Validation）：学習用データを分割して実際の予測誤差を評価し、最適な λ を選ぶ。
- 一般化交差検証（GCV）：モデル複雑度を考慮した無偏的な基準で、計算的に効率よく λ を推定できる手法。
- L字曲線法（L-curve）：解ノルム ||Lx|| と残差ノルム ||Ax − b|| の対数プロットの曲がり角（コーナー）を探す方法。曲がり角が最適バランスを示す。
- モロゾフの不一致原理（Morozov Discrepancy Principle）：ノイズの大きさが既知の場合、残差ノルムが期待されるノイズレベルに等しくなる λ を選ぶ。
それぞれ長所短所があり、問題の性質（ノイズ情報の有無、計算資源、実装の容易さ）により使い分けます。
L の選び方：単位行列から微分作用素まで
正則化行列 L の選択は解の性質に大きく影響します。代表例：
- L = I：解の大きさ（エネルギー）を抑える。リッジ回帰に相当。
- L を一次差分行列：解の急激な変動を抑えて滑らかな解を得る（画像復元や勾配抑制に有効）。
- 高次微分や空間変動に応じた重み付き行列：物理的な滑らかさや境界条件を反映。
計算上の扱い方
- 正規方程式を直接解く：(A^T A + λ L^T L) を形成して因子分解（Cholesky）する。行列が小さく良条件なら効率的。
- 特異値分解（SVD）：スペクトル的理解や安定解を求めるのに有用だが、大規模問題では高コスト。
- 反復法（CG、LSQR 等）：大規模疎行列に対しては行列を明示的に組み立てずに反復法で解くことが実用的。正則化は早期打ち切り（iterative regularization）として現れることもある。
- 拡大系アプローチ：正則化項を追加した拡張方程式を構築して効率的に解く方法（例えば正則化された最小二乗を拡張行列 [A; sqrt(λ)L] として扱う）。
応用例
- 画像復元・デブラー：ブレやノイズ除去で広く用いられる。
- トモグラフィー・逆散乱：計測データから内部構造の再構築。
- 地球物理学の逆問題：地層や物性の推定。
- 機械学習のリッジ回帰：過学習を抑制して汎化性能を向上。
利点・欠点・代替手法
利点：
- 数理的に扱いやすく、計算的な実装も確立されている。
- ノイズや不適定性に対して安定した解を提供する。
- ベイズ解釈により事前情報を明確に組み込める。
欠点：
- 二乗ノルムベースのペナルティはエッジやスパース性を保持しにくい（例：画像のエッジはぼやける）。
- λ の選択が難しく、過大・過少だと過度なバイアスやノイズ増幅が生じる。
代替手法としては、L1 ペナルティ（ラッソ）や全変動（TV）正則化など、スパース性やエッジ保存を重視する非二次的な正則化が使われます。これらは凸最適化や非線形最適化の道具を必要とします。
実務上の注意点とコツ
- データとモデルのスケーリングを考慮する。A や b のスケールが異なると λ の意味合いも変わる。
- 事前情報があれば L に反映させる（境界条件や期待される周波数特性など）。
- 複数の λ 候補を評価してロバストな選択を心がける。GCV や交差検証は自動化に有効。
- 大規模問題では反復ソルバーと事前条件付け（preconditioning）を検討する。
まとめ
チホノフ正則化は、逆問題や回帰における古典かつ強力な手法であり、ノイズや不適定性を抑えて実用的な解を得るための基本的なツールです。正則化行列 L と正則化パラメータ λ の選択が結果を大きく左右するため、問題の物理的背景や利用目的に応じた設計と検証が重要です。より高度な性質（スパース性やエッジ保存）を求めるなら、L1 や TV などの代替手法と組み合わせて検討するとよいでしょう。
参考文献
- Tikhonov regularization — Wikipedia
- A. N. Tikhonov & V. Y. Arsenin, "Solutions of Ill-Posed Problems" (Winston & Sons, 1977) — 原典訳（英訳）
- P. C. Hansen, "Rank-Deficient and Discrete Ill-Posed Problems" (SIAM, 1998)
- P. C. Hansen, "Discrete Inverse Problems: Insight and Algorithms" (SIAM, 2010)
- H. W. Engl, M. Hanke, A. Neubauer, "Regularization of Inverse Problems" (Kluwer, 1996)
- Ridge regression — Wikipedia (Hoerl & Kennard のリッジ回帰に関する解説)
- G. H. Golub, M. Heath, G. Wahba, "Generalized Cross-Validation as a Method for Choosing a Good Ridge Parameter" (SIAM J. Numer. Anal., 1979)
- L-curve method — Wikipedia
投稿者プロフィール
