パーセプトロン入門：線形分類器の基礎から収束定理・歴史と現代への影響まで
エバープレイ編集部パーセプトロンとは — 概要
パーセプトロン（perceptron）は、人工ニューラルネットワークの最も基本的な構成要素であり、線形分類器の一種です。1957年頃にフランク・ローゼンブラット（Frank Rosenblatt）によって提案され、単純な入力の重み付き和に基づいて2クラスを分けるモデルとして知られています。単一のパーセプトロンは「線形分離可能」な問題を正しく分類できますが、非線形な問題（代表例：XOR）は解けないという重要な制約があります。
パーセプトロンの構造と数式表現
パーセプトロンは以下の要素で構成されます：
- 入力ベクトル x = (x1, x2, ..., xn)
- 重みベクトル w = (w1, w2, ..., wn)
- バイアス項 b（または重みに含めるために常に1の入力を追加する）
- 活性化関数（伝統的にはステップ関数）
出力 y は次のように計算されます：
y = f(w・x + b)
ここで f はステップ関数（閾値関数）で、例えば f(z) = 1（z ≥ 0）または 0（z < 0）という形です。つまり、重み付き和が閾値を越えればクラス1、越えなければクラス0を返します。
学習アルゴリズム（パーセプトロン学習規則）
パーセプトロンは教師あり学習の枠組みで、オンライン（逐次）学習を基本とします。典型的な更新ルールは次の通りです：
- 予測 y を計算する。
- 目標ラベルを t とする（0または1、あるいは±1の表現もある）。
- 誤差があるとき、重みを更新する： w ← w + η (t − y) x 。バイアスは同様に b ← b + η (t − y) で更新。
ここで η は学習率（0 < η ≤ 1）です。基本的に誤分類されたサンプルのみが重みを変更します。
理論的性質：パーセプトロン収束定理
パーセプトロンには「収束定理（Perceptron Convergence Theorem）」という重要な結果があります。簡単に言えば、訓練データが線形に分離可能であれば、パーセプトロン学習規則は有限回の更新で誤分類をゼロにする重みベクトルに到達します。この定理は、学習率が固定である場合など特定の条件下で成り立ちます（初期の解析はNovikoff 1962などに見られます）。
逆に、データが線形分離不可能な場合は収束せず、重みが振動するか無限に更新されるため、現実的には停止基準やポケット法（最良の重みを保持する）などの工夫が使われます。
長所・短所と実務上の位置づけ
- 長所：
- 構造が非常にシンプルで理解しやすい。
- 学習アルゴリズムが計算的に軽量でオンライン処理に適する。
- 線形分類器としての基礎的理解（決定境界は超平面）を提供する。
- 短所：
- 非線形な問題（XORなど）は解けない。
- ノイズや外れ値、線形分離不可能な現実データに対しては性能が限られる。
- マージン（決定境界と最も近い点との距離）最大化のような性能改善を自動的には行わない（SVMとは異なる）。
パーセプトロンと他手法との比較
パーセプトロンは「線形モデル」の一つで、ロジスティック回帰や線形SVMと密接に関連します。ただし、目的関数や最適化の観点で違いがあります。ロジスティック回帰は確率的出力と対数損失（交差エントロピー）に基づいており、最適化は凸問題になります。SVMはマージン最大化を目標としており、一般に汎化性能を改善するための正則化的視点を持ちます。パーセプトロンは誤分類誤りに基づくシンプルな更新であり、学習の安定性や過学習対策については追加の工夫が必要です。
パーセプトロンの限界と歴史的影響
1969年、マービン・ミンスキーとシーモア・パパート（Minsky & Papert）は著書「Perceptrons」でパーセプトロンの理論的限界、とくに単層パーセプトロンがXORのような非線形分離問題を解けない点を指摘しました。この指摘は当時の研究資金が縮小する一因ともなり、いわゆる「AIの冬」の一端を担いました。
その後、複数の層（隠れ層）をもつ多層パーセプトロン（MLP）とバックプロパゲーション（誤差逆伝播法）の復活により、非線形問題が解けるようになりました。1986年のRumelhart・Hinton・Williamsの論文はこの復活を牽引しました。現代の深層学習はこの系譜を受け継いでおり、単一のパーセプトロンは「ニューラルネットワークの最も基本的な単位」としての教育的価値や理論的基礎を提供します。
実用上の派生・改良
- ポケットアルゴリズム：非線形分離問題で最良の重みを保持する手法。
- 平均化パーセプトロン：更新の平均を取ることで安定化し、自然言語処理などで実用的に使われることがある。
- カーネルパーセプトロン：カーネルトリックを用い、非線形の特徴空間で線形分離を実現。
簡単な例：AND と XOR
AND (二入力) は線形分離可能で、例えば重み w = (1, 1)、バイアス b = −1.5 によって実現できます。入力が (1,1) のときのみ出力が1になります。一方、XOR はどのような直線（平面）でも2クラスに分けられないため、単一のパーセプトロンでは解けません。これがパーセプトロンの本質的限界を示す古典的な例です。
まとめ：今、パーセプトロンは何を教えるか
パーセプトロンは単純ながら重要な概念です。線形分類器としての直感（重み付き和と閾値決定）、オンライン学習の手法、収束の条件、そして非線形性の必要性を理解することで、より複雑なニューラルネットワークや機械学習手法に対する基盤が形成されます。実務では単独で使われることは少なくなりましたが、教育的・理論的価値は非常に高く、多層ネットワークやサポートベクターマシンなどへの橋渡しとして重要です。
参考文献
- Frank Rosenblatt (1958). "The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain." Psychological Review.
- Marvin Minsky & Seymour Papert (1969). Perceptrons. MIT Press.
- Rumelhart, Hinton & Williams (1986). "Learning representations by back-propagating errors." Nature.
- Wikipedia: Perceptron (英語)
- Stanford CS: Perceptron（解説ページ）
投稿者プロフィール
