高階テンソルの基礎と分解法ガイド：CP・Tucker・TTを用いた低ランク近似と実践応用
エバープレイ編集部高階テンソルとは — 概要
テンソルは多次元配列として扱える数学的対象で、スカラー（0次元）、ベクトル（1次元）、行列（2次元）を一般化したものです。テンソルの「階（かい）」または「次数（order）」はそのモード数（次元の数）を指します。例えば三次元配列は3階テンソル（高階テンソル）と呼ばれます。IT分野では、データが複数の側面（時間・空間・チャネル・ユーザ・アイテムなど）を持つ場合に高階テンソルで表現することが多く、機械学習、信号処理、データ圧縮、推薦システム、画像・映像処理などで広く用いられます。
定義と表記
一般に、I1 × I2 × ... × IN の要素を持つテンソルを T ∈ R^{I1×I2×...×IN} と表記します。要素は T_{i1 i2 ... iN} のように添字で表され、添字が N 個あると N 階のテンソルです。例えば T ∈ R^{I×J×K} の要素は T_{i j k}（i=1..I, j=1..J, k=1..K）です。
基本演算
外積（outer product）: ベクトルや他のテンソル同士の外積で階数が加算されます。例えば a ∈ R^I と b ∈ R^J の外積 a ⊗ b は行列（2階テンソル）です。
収縮（contraction）: あるモードの添字で和を取ることで階数を減らす操作です。行列積は二つのテンソルの特定モードでの収縮の特殊例とみなせます（アインシュタインの縮約記法）。
モード-n 積（mode-n product）: テンソル T を行列 U ∈ R^{J×In} で n モードに沿って掛ける操作で、新しいテンソルの n モードの次元が In から J に置き換わります。表記は T ×_n U。
展開（matricization / unfolding）: テンソルを行列に変換する操作で、各モードごとに異なる展開（mode-n unfolding）があります。これにより行列アルゴリズムを利用できます。
テンソルの「階」と「ランク」の違い
注意すべき重要な点は「階（order）」と「ランク（rank）」が異なる概念であることです。階はモード数（例: 3階テンソル）、ランクはテンソルを表現するために必要な最小のランク1テンソル（外積で表されるテンソル）の数を指す CP ランクなど複数の定義があります。テンソルのランクは行列のランクと比べて扱いが難しく、計算が NP ハードである場合もあります。
代表的な分解法（低ランク近似）
高階テンソルは直接保存・処理すると次元爆発（curse of dimensionality）を招くため、低ランク近似が重要です。代表的な分解法には次のものがあります。
CP分解（CANDECOMP / PARAFAC）: テンソルをランク1テンソルの和で表します。例えば 3階テンソル T ≈ Σ_{r=1}^R a_r ⊗ b_r ⊗ c_r という形です。ユニーク性の条件が整えば因子が解釈可能で、ALS（交互最小二乗法）などで推定します。
Tucker 分解（高階SVD）: 中心テンソル（コアテンソル）と各モードの因子行列の積で表します。行列の SVD を一般化した概念で、HOSVD（高階特異値分解）として計算されることがあります。
テンソルトレイン（Tensor Train / TT）: 高次のテンソルを連鎖状の低次テンソル（コア）に分解する方法で、次元数が非常に大きい場合のメモリ効率に優れます。
階層的テンソル分解（HT）やその他（Tucker-ALS、CP-ALS、SVDベース手法など）も実用的に用いられます。
計算アルゴリズムと実装上の注意
ALS（交互最小二乗法）: CP や Tucker の標準手法。各因子を交互に固定して線形最小二乗問題を解く。初期値に敏感で局所解に陥ることがあります。
勾配法・確率的最適化: 大規模データや正則化を取り入れる場合に用いられます。
初期化: SVD ベース、ランダム、またはモードごとの主成分分析（PCA）を用いることが多い。適切な初期化は収束性に影響します。
数値安定性と正則化: 過学習や劣悪な条件数を防ぐために正則化（L2、スパース化、非負制約など）を導入することがあります。
計算コスト: 次元やランクに応じて計算量・メモリが増加するため、メモリ効率の良い表現（TT など）や分散処理、オンラインアルゴリズムが重要です。
IT・機械学習での主な応用例
深層学習のモデル圧縮: 大きな全結合層や畳み込みカーネルをテンソル分解（Tucker、TT、CP など）で近似することでパラメータ数・計算量を削減します。
マルチモーダルデータの表現学習: 画像・音声・テキストなど多様なモードを持つデータを高階テンソルで表し、因子分解で潜在因子を抽出します。
推薦システム: ユーザ×アイテム×コンテキスト（時間・場所など）の三次元テンソル分解により、よりリッチな推薦が可能になります。
知識グラフや関係データ: 関係を三次元テンソルにマッピングし、テンソル分解でリンク予測や埋め込みを行う手法があります。
信号処理・高スペクトル画像解析: マルチチャネル・多バンドのデータは高階テンソルとして扱われ、ノイズ除去や特徴抽出にテンソル手法が用いられます。
利点と課題
利点としては、多方向（モード）間の相互作用を直接モデリングできる点、潜在構造の解釈性（条件付き）、圧縮と効率化が期待できる点が挙げられます。一方で課題は次の通りです。
計算コストとメモリ: 階数や次元が増えると急激に必要資源が増大する。
最適化の困難さ: 非凸最適化問題になりやすく、局所最適に陥る。
ランク推定やモデル選択: 適切なランクやコアサイズを選ぶのが難しい。
理論的性質: テンソルランクの決定や一意性に関する理論は行列に比べて複雑。
実践のヒント
まずはデータのモード構造を明確に定義し、必要な前処理（標準化、欠損値処理）を行う。
扱うテンソルが大きい場合は、部分的にバッチ処理する、または TT などメモリ効率の良い分解を検討する。
最適化は複数回の初期化で検証し、交差検証や適切な評価指標（再構成誤差、下流タスクの性能）でランクを決定する。
既存のライブラリ（Tensorly、MATLAB Tensor Toolbox、PyTorch/TensorFlow のテンソル演算）を活用すると実装が容易。
参考となるソフトウェア・ライブラリ
Tensorly (Python): テンソル分解の実装が豊富で、NumPy/Scipy、PyTorch、TensorFlow バックエンドをサポート。
MATLAB Tensor Toolbox: 研究用途で広く使われるツールボックス。
PyTorch / TensorFlow: テンソル演算の基盤。テンソル分解用の拡張ライブラリや実装が多数公開されている。
まとめ
高階テンソルは多次元データの自然な表現であり、相互作用のモデリング、圧縮、特徴抽出など幅広い用途を持ちます。しかし計算コストや理論的な難しさ（ランク推定や最適化の困難さ）も伴います。実務ではデータの構造と問題の目的に合わせて分解法やアルゴリズムを選択し、スケーラビリティと数値安定性を確保することが重要です。
参考文献
- Tamara G. Kolda and Brett W. Bader, "Tensor Decompositions and Applications", SIAM Review, 2009.
- Ivan Oseledets, "Tensor-Train Decomposition", arXiv:1010.5871 (2011).
- Tensorly — Tensor Learning in Python (公式ドキュメント)
- MATLAB Tensor Toolbox (B. Bader, T. Kolda 等)
- Wikipedia: Tensor decomposition
投稿者プロフィール
