2ノルムとは？ITエンジニアのための完全ガイド — 性質・計算・応用・数値対策

2025年12月28日 最終更新日時 : 2025年12月28日 エバープレイ編集部

はじめに

「2ノルム」は、ITや機械学習、数値線形代数の分野で頻繁に登場する基本概念です。直感的にはユークリッド距離に相当し、ベクトルや行列の大きさや振る舞いを測る指標として広く用いられます。本コラムでは定義から性質、計算法、数値的注意点、応用例まで幅広く解説し、実務で役立つ知識を深堀します。

定義：ベクトルの2ノルムと行列の2ノルム

ベクトル x = (x1, x2, …, xn) の2ノルムは次のように定義されます。

||x||_2 = sqrt(x1^2 + x2^2 + … + xn^2)

直感的には原点から点 x へのユークリッド距離です。一方、行列 A の2ノルム（スペクトルノルム）は演算子ノルムとして定義されます。

||A||_2 = max_{x != 0} ||A x||_2 / ||x||_2

線形代数的には、行列Aの2ノルムはAの最大特異値（singular value）に等しく、特異値分解（SVD） A = U Σ V^T の最大対角要素 Σ_{11} が ||A||_2 です。

主な性質

  • 非負性と正定性：||x||_2 >= 0, ||x||_2 = 0 iff x = 0。
  • 斉次性：||α x||_2 = |α| ||x||_2。
  • 三角不等式：||x + y||_2 <= ||x||_2 + ||y||_2。
  • 回転不変性：任意の直交行列 Q に対して ||Q x||_2 = ||x||_2。これは2ノルムが回転や反射に対して不変であることを意味します。
  • 行列ノルムの一致性：||A x||_2 <= ||A||_2 ||x||_2。

2ノルムと他のpノルムの比較

一般に p ノルム ||x||_p = (sum |xi|^p)^{1/p} で、p = 1, 2, ∞ が典型です。性質としては次が成り立ちます。

  • ||x||_2 <= ||x||_1 <= sqrt(n) ||x||_2
  • ||x||_∞ <= ||x||_2 <= sqrt(n) ||x||_∞

これらはノルム間のスケール関係を示し、高次元では1ノルムと2ノルムの差が無視できないことがあります。2ノルムは回転不変であるため、データの向きに依存しない尺度を提供しますが、スパース性を促すのは1ノルム（L1）です。

行列2ノルムと特異値

行列 A の特異値 σ_i は A^T A の固有値の平方根です。最大特異値 σ_max = ||A||_2、最小特異値 σ_min = 最小の正の特異値。これらから条件数 cond_2(A) = σ_max / σ_min が定義され、連立一次方程式や逆行列計算の感度を表します。条件数が大きいほど数値的不安定性が高く、小さな入力誤差が出力に大きな影響を与えます。

数値計算：ベクトルと行列の計算法

ベクトルの2ノルムは一見単純ですが、実装上はいくつかの注意点があります。典型的には sum = 0; for i: sum += xi^2; norm = sqrt(sum) としますが、次の問題が生じます。

  • オーバーフロー/アンダーフロー：xi^2 の計算でオーバーフローする可能性がある。解決策としてはスケーリング（最大絶対値で割る）してから平方和を計算し、最後にスケールを戻す方法がある。
  • 丸め誤差の蓄積：多くの項を加算すると誤差が蓄積する。Kahanの補正和や分割加算（pairwise summation）を用いると精度が改善する。
  • 平方根のコスト：平方根は計算コストが高い場合がある。比較だけが目的なら平方根を取らずに二乗ノルム（||x||_2^2）を使うのが一般的。

行列の2ノルムは直接SVDを取ることで求められますが、SVDは計算コストが高く O(m n min(m,n))。大規模行列では次のような手法が現実的です。

  • べき反復法（power iteration）：A^T A の最大固有値（=σ_max^2）に対するべき反復を行う。各反復は行列-ベクトル積を要するためコストは O(mn)。
  • Lanczos法・Arnoldi法：A^T A に対する効率的な大規模固有値解法で、数個の最大特異値のみが必要な場合に有効。
  • ランダム化アルゴリズム：randomized SVD は近似的に大きな特異値を高速に求める現代的手法で、ビッグデータに向く。

数値安定性と実装上の工夫

実務では性能と精度のバランスが重要です。以下は現場で役立つチェックリストです。

  • 比較には二乗ノルムを使う：距離比較だけなら sqrt を省略して ||x||_2^2 を比較して高速化。
  • スケーリングしてから平方和を取る：極端に大きい/小さい要素が混在する場合に有効。
  • Kahanやpairwise summationを実装：累積誤差を抑える。
  • 行列のスペクトル推定は反復法で：フルSVDは避け、必要な分だけ近似する。
  • 正規化と標準化：機械学習でL2正則化や距離計算を行う場合、入力特徴量のスケーリングが重要（スケールが異なる特徴があると2ノルムが特定軸に支配される）。

機械学習・信号処理における応用例

2ノルムは多くの実務アプリケーションで基礎的役割を果たします。

  • ロス関数：最小二乗法や回帰での二乗誤差は2ノルムの二乗に対応。勾配は線形で扱いやすく、解析解や効率的なアルゴリズムが得られる。
  • L2正則化（リッジ回帰）：λ ||w||_2^2 の形式で重みを罰することで過学習を抑制。平方項は滑らかなペナルティを与え、解析的に解ける利点がある。
  • 分類器のマージン：サポートベクターマシン（線形SVM）は2ノルムによるマージン最大化を考えることで導かれる。
  • 距離計算：k-NN、クラスタリング、近接探索ではユークリッド距離（2ノルム）がデファクトスタンダード。ただしデータの分布によっては他ノルムが適切な場合もある。
  • 次元削減：主成分分析（PCA）は分散の大きい方向を探す手法で、共分散行列の固有値分解やSVDに基づく。ここでも特異値（2ノルム関連）が中心的役割を持つ。

最適化における役割

最適化では2ノルムに由来する様々な操作が現れます。例えば微分：f(x) = 0.5 ||x||_2^2 の勾配は ∇f = x であり、二乗ノルムは凸で滑らかなため勾配法に適します。一方、非二乗の L2 ノルム（||x||_2）を目的関数に含む場合、最小化や近接作用素（proximal operator）が利用されます。近接演算子の閉形式は次の通りです。

prox_{τ ||·||_2}(v) = max(0, 1 - τ / ||v||_2) · v

一方で二乗ノルムに対する近接演算子は単純な縮小（shrinkage）で、解析解が容易です。

実運用での落とし穴と対策

実装や運用の場面では以下に注意してください。

  • 高次元データ：次元が大きいと距離の集中現象（distance concentration）が起き、全ての点がほぼ等距離になる。これにより2ノルムに基づく距離は区別能力を失う可能性がある。対策は次元削減や特徴選択。
  • スパース性の扱い：スパースベクトルに対する解釈では1ノルムがより適切な場合がある（L1 がスパース性を促す）。
  • 数値オーバーフロー：高次元かつ大きな要素を扱うと二乗でオーバーフローするため、スケール調整や対数表現を検討。

実装上の具体的なヒント

  • 距離比較のみなら二乗ノルムを用いる。
  • 高速化のためベクトルノルム算出はSIMD命令やBLASのnrm2を利用する。
  • 大規模行列のスペクトル推定はrandomized SVDやARPACKのようなライブラリを利用する。
  • 条件数の推定は二乗ノルムで行い、逆行列や解の感度を評価する。

まとめ

2ノルムは理論的に美しく、実務的にも有用なツールです。回転不変性や特異値との関係、条件数を通じた数値感度評価、機械学習や信号処理での広範な応用などがその強みです。一方で高次元での性質や数値誤差、計算コストには注意が必要です。実装では平方和の安定化、反復法によるスペクトル推定、必要に応じたノルムの選択（L1、L∞など）を組み合わせることで堅牢なシステムが構築できます。

参考文献

Norm (mathematics) — Wikipedia

Matrix norm — Wikipedia

Singular value decomposition — Wikipedia

Power method and Lanczos — Lecture notes

Randomized SVD and large-scale spectral methods — RSpectra vignette

カテゴリー
IT
前の記事
ティーインググラウンド完全ガイド：ルール・マナー・戦略を徹底解説New!!
2025年12月28日
次の記事
【完全ガイド】ゴルフのタップイン（Tap-in）とは？技術・メンタル・練習法を徹底解説New!!
2025年12月28日