MLP（多層パーセプトロン）完全解説：基礎構造・活性化関数・学習アルゴリズム・正則化・現代の役割と実践ガイド
エバープレイ編集部はじめに — MLP（Multilayer Perceptron）とは何か
MLP（Multilayer Perceptron、マルチレイヤーパーセプトロン）は、最も基本的かつ古典的な人工ニューラルネットワークの一種で、複数の層（入力層、1つ以上の隠れ層、出力層）で構成されます。各層は多数の「ニューロン」（ユニット）を持ち、重み付き和と非線形活性化関数を用いて入力を変換します。分類や回帰、特徴抽出の基本ブロックとして、機械学習と深層学習の歴史において長く中心的な役割を果たしてきました。
歴史的背景と理論的基盤
単純パーセプトロン自体は1950〜60年代に提案されましたが、単層では線形分離可能な問題しか解けないという限界がありました。1980年代に誤差逆伝播法（バックプロパゲーション）が普及したことで、多層構造を持つネットワークの学習が現実的となり、MLPが広く使われるようになりました。理論的には、適切な活性化関数を持つ十分な数のユニットを備えた1隠れ層のMLPは、連続関数を任意精度で近似できる（Universal Approximation Theorem）ことが示されています。
基本構造と計算（前向き伝播）
MLPの基本計算は各層ごとに行われます。ひとつの層のニューロンiでは次のような計算が行われます。
- 入力ベクトルxと重みベクトルw、バイアスbを用いて線形結合 z = w・x + b を計算
- 非線形活性化関数 φ を適用して出力 a = φ(z) を得る
層を順に適用することで入力から最終出力（分類確率や回帰値など）を得ます。最終出力層では問題に応じて恒等関数・ソフトマックス関数・シグモイドなどが用いられます。
活性化関数の種類と性質
- シグモイド（sigmoid）: 出力が0〜1。古典的だが深いネットワークでは勾配消失を引き起こしやすい。
- 双曲線正接（tanh）: 出力が-1〜1。中心化されるため学習が若干安定する。
- ReLU（Rectified Linear Unit）: max(0, x)。計算が簡単でスパース性を作り、勾配消失を緩和するため深層で広く用いられる。
- Leaky ReLU / ELU / GELU: ReLUの欠点を補う変種（負側にも微小な勾配やより滑らかな挙動）
- ソフトマックス: 多クラス分類の出力確率を得るために用いる
学習：損失関数と誤差逆伝播（バックプロパゲーション）
MLPの学習は、目的に応じた損失関数（回帰なら平均二乗誤差、分類なら交差エントロピーなど）を定義し、損失を最小化するように重みとバイアスを更新します。誤差逆伝播法は、出力層から入力側へ誤差の勾配を伝搬させ、各パラメータの勾配を効率的に計算するアルゴリズムです。得られた勾配を用いて勾配降下法（SGD）やその派生（Momentum、Adamなど）でパラメータを更新します。
最適化アルゴリズムと初期化
- SGD（確率的勾配降下法）: 単純だが収束や学習率選択が重要
- Momentum, Nesterov: 局所ノイズを平滑化し、収束を速めることが多い
- Adam, RMSProp: 学習率を適応的に調整、初期設定で使いやすいが過学習や一般化に注意が必要
- 初期化: Xavier/Glorot 初期化、He 初期化などは活性化関数に合わせて分散を調整することで学習安定化に寄与する
正則化と汎化性能向上の工夫
MLPはパラメータ数が多く過学習しやすいため、次のような正則化手法が使われます。
- L1/L2 正則化（重み減衰）
- ドロップアウト（Dropout）: 学習時にランダムにユニットを無効化して共適応を抑制
- 早期打ち切り（Early stopping）: 検証損失が悪化し始めたら学習を停止
- バッチ正規化（Batch Normalization）: 内部共変量シフトを抑え、学習を安定化・高速化
表現力と限界
MLPは理論的に非常に強力で、十分なユニット数があれば多くの関数を近似可能です（Universal Approximation Theorem）。しかし実務的には以下の課題があります。
- 高次元データ（画像や音声）では、空間的・局所的構造を利用できるCNNなどの特殊構造が効率的
- 深さが増すと勾配消失／発散や最適化の難しさが出る（残差接続や正規化で対処）
- 学習に大量のデータと計算資源が必要になる
現代の文脈でのMLPの役割と発展
近年はCNNやTransformerのような構造化層が主流ですが、MLPは次のような形で依然重要です。
- Transformer内部のフィードフォワード層（いわゆる「MLPブロック」）は性能に重要な寄与をする
- MLP-Mixerなど、純粋にMLPのみで視覚タスクに挑戦するアーキテクチャの提案もあり、MLPの可能性が再評価されている
- 小規模モデルや説明性・単純実装が求められる場面で依然有効
実践的なハイパーパラメータ設計とデバッグのコツ
- 層の数（深さ）と各層のユニット数（幅）はタスクとデータ量に応じて決定。まずは shallow（浅め）→ deep（深め）で検証
- 学習率は最も重要なハイパーパラメータ。学習率範囲を探索し、学習率スケジュール（ステップ減衰、コサイン減衰、ウォームアップ）を検討
- バッチサイズは計算資源と一般化に影響。大きすぎると一般化が悪化することがある
- 勾配の消失／発散は勾配ノルムを監視して検出。勾配クリッピングや適切な初期化、活性化関数の変更で対処
- 学習曲線（訓練損失・検証損失）を常に監視し、過学習／未学習を判定
実世界での応用例
- 伝統的な分類・回帰問題（金融のスコアリング、製造の異常検知など）
- 特徴量が既に抽出済み（あるいは数値化されている）データに対するベースラインモデル
- 言語モデルの一部（FFN層）、強化学習の価値関数・方策近似器
まとめ — いつMLPを選ぶか
MLPは「汎用で理解しやすい」モデルとして、まず試すべき選択肢です。データが構造化（表形式）で、特徴量が意味を持つ場合や、モデルの単純性・説明性が重要な場合に特に有効です。一方で画像や時系列、空間的構造を強く持つデータにはCNNやTransformerなどタスクに特化した構造の方が効率的です。現代の深層学習ではMLPは単体で使われる場面は減ったものの、重要な構成要素として広く使われ続けています。
実装と学習リソース（フレームワーク）
- PyTorch：動的グラフで実験に向く（https://pytorch.org/）
- TensorFlow / Keras：生産環境や大規模学習に強い（https://www.tensorflow.org/）
- 理論を深める書籍：Deep Learning（Goodfellow et al.）など
参考文献
- Multilayer perceptron - Wikipedia
- Rumelhart, Hinton & Williams (1986) — Learning representations by back-propagating errors (Nature)
- Ian Goodfellow, Yoshua Bengio, Aaron Courville — Deep Learning (book)
- Ioffe & Szegedy (2015) — Batch Normalization (arXiv)
- Srivastava et al. (2014) — Dropout: A Simple Way to Prevent Neural Networks from Overfitting (JMLR)
- Kingma & Ba (2014) — Adam: A Method for Stochastic Optimization (arXiv)
- Glorot & Bengio (2010) — Understanding the difficulty of training deep feedforward neural networks (AISTATS)
- Tolstikhin et al. (2021) — MLP-Mixer: An all-MLP Architecture for Vision (arXiv)
投稿者プロフィール
