RNN（リカレントニューラルネットワーク）完全入門：時系列処理の仕組み・LSTM/GRU・学習のコツとTransformer比較
エバープレイ編集部リカレントニューラルネットワーク（RNN）とは
リカレントニューラルネットワーク（Recurrent Neural Network, RNN）は、系列データ（時系列、文章、音声など）の処理に特化したニューラルネットワークの一種です。一般的なフィードフォワード型ネットワークと異なり、過去の入力情報を内部の「状態（隠れ状態）」として保持し、それを次の時刻の計算に反映することで、時間的な依存関係をモデル化します。自然言語処理や音声認識、時系列予測といった領域で広く用いられてきました。
基本的な構造と数式表現
最も単純なRNNユニットは、時刻tにおける隠れ状態 h_t を次のように更新します。
h_t = f(W_x x_t + W_h h_{t-1} + b)
ここで x_t は入力、W_x, W_h は重み行列、bはバイアス、fは活性化関数（例：tanhやReLU）です。出力 y_t は h_t を別の重みで線形変換したものにソフトマックスなどを適用して得られます。
学習方法：逆伝播とBPTT
RNNの学習は誤差逆伝播法の系列版である「時系列に沿った逆伝播（Backpropagation Through Time, BPTT）」で行われます。ネットワークを時間方向に展開（unroll）して通常の誤差逆伝播を適用することで、各時刻の重み更新値を計算します。
ただし長い系列を扱うと、連鎖的に掛け合わされた勾配が指数的に小さく（勾配消失）または大きく（勾配爆発）なり、学習が困難になる問題があります（Bengioらによる指摘）。勾配爆発は勾配クリッピングで対処するのが一般的です。
代表的な発展系：LSTMとGRU
勾配消失問題を実務的に解決するために、ゲート構造を持つRNNが提案されました。代表的なものがLSTM（Long Short-Term Memory）とGRU（Gated Recurrent Unit）です。
- LSTM（Hochreiter & Schmidhuber, 1997）
セル状態（C_t）と入力ゲート・忘却ゲート・出力ゲートの3つのゲートを備え、情報の保存・更新・出力を柔軟に制御します。これにより長期依存の学習が可能になりました。 - GRU（Choら, 2014）
LSTMよりシンプルな構造で、更新ゲートとリセットゲートの2つを持ちます。パラメータ数が比較的少なく、同等の性能を示すケースも多いです。
RNNのバリエーションと拡張
- 双方向RNN（Bidirectional RNN）：系列を両方向から処理し、過去と未来の文脈を同時に利用します。自然言語処理でよく使われます。
- スタック（深い）RNN：複数層に重ねることで表現力を高めます。
- エンコーダ・デコーダ（Seq2Seq）：可変長の入力系列を固定長のベクトルに圧縮（エンコーダ）し、それをデコーダが展開する構造で、機械翻訳などに有効です（Sutskeverら）。
- Attention機構：エンコーダの全ての隠れ状態に重み付けをして参照する仕組みで、長い入力系列でも局所的に重要な箇所を参照できるため性能が大きく向上しました（Bahdanauら）。
代表的な応用分野
- 言語モデル、文章生成（次単語予測、文章補完）
- 機械翻訳（Seq2Seq + Attentionの組合せ）
- 音声認識（音声→テキスト）
- 時系列予測（需要予測、株価予測、センサーデータ解析）
- 異常検知（シーケンス内の挙動評価）
実務的な注意点と学習のコツ
- 勾配消失対策：LSTM/GRUの採用や適切な重み初期化、Batch NormalizationやLayer Normalizationの利用を検討します。
- 勾配爆発対策：勾配クリッピング（グローバルノルムクリッピングなど）を実装。
- ミニバッチとシーケンス長：可変長系列はパディングやマスクで処理。Truncated BPTT（長系列を分割して学習）も有効です。
- 正則化：ドロップアウトはRNNに直接かけると問題があるため、時間方向で同じマスクを使う「variational dropout」などを検討。
- 計算コスト：RNNは系列を逐次処理するため並列化が難しく、長系列や大規模データでは学習時間が長くなる点に留意。
RNNと最近のトレンド（Transformerとの比較）
近年は自己注意（Self-Attention）を基盤とするTransformer（Vaswaniら, 2017）が多くのタスクでRNNを置き換えています。Transformerは並列化に優れ長距離依存も直接扱えるため大規模学習に強みがあります。一方、RNN（特にLSTM/GRU）は少ないデータやオンライン逐次処理（逐次生成）など、未だに有利な場面もあります。実務ではタスク特性や計算資源、レイテンシ要件を踏まえ選択します。
実装に使えるライブラリとツール
- TensorFlow / Keras：RNN, LSTM, GRU, Bidirectional, Attentionの高水準APIを提供。
- PyTorch：柔軟な動的計算グラフでRNN実装がしやすく、torch.nn のRNNモジュールやカスタムユニットの実装が容易。
- Hugging Face Transformers：主にトランスフォーマーベースだが、Seq2Seq実装やデータ処理の参考になる。
まとめ
RNNは時系列や系列データの処理に特化した重要なニューラルネットワークアーキテクチャです。単純RNNは勾配消失・爆発の問題を抱えますが、LSTMやGRUといったゲート付きユニット、さらにAttentionやエンコーダ・デコーダの組合せにより多くの問題に対処してきました。近年はTransformerが台頭していますが、RNNは依然として逐次処理や軽量モデル、少データ領域で有用です。実装時は勾配の安定化、バッチ/系列長の扱い、正則化、計算コストを考慮すると良いでしょう。
参考文献
- Y. Bengio, P. Simard, P. Frasconi, "Learning long-term dependencies with gradient descent is difficult" (1994)
- S. Hochreiter & J. Schmidhuber, "Long Short-Term Memory" (1997)
- K. Cho et al., "Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation" (2014) — GRU
- D. Bahdanau, K. Cho, Y. Bengio, "Neural Machine Translation by Jointly Learning to Align and Translate" (2014) — Attention
- I. Sutskever, O. Vinyals, Q. V. Le, "Sequence to Sequence Learning with Neural Networks" (2014) — Seq2Seq
- A. Vaswani et al., "Attention Is All You Need" (2017) — Transformer
- Christopher Olah, "Understanding LSTM Networks" — 解説記事
- TensorFlow Keras RNN Guide
- PyTorch LSTM Documentation
