特徴量とは｜機械学習で成果を出すための特徴量設計・前処理・選択と実務チェックリスト
エバープレイ編集部特徴量とは — 概念と役割
特徴量（とくちょうりょう、feature）とは、機械学習や統計モデルが入力として扱う変数（説明変数）のことを指します。観測データの中からモデルが学習に利用する個々の情報片であり、数値、カテゴリ、日時、テキスト、画像のピクセル値など多様な形式を取り得ます。良い特徴量はモデルの性能を大きく向上させ、逆に不適切な特徴量は過学習や性能低下、誤った解釈を招きます。
特徴量と生データの違い
生データ（raw data）は観測やログなどシステムが取得したままの状態であり、そのままでは欠損やノイズ、非構造化情報が含まれています。特徴量は生データからモデルが扱いやすい形に変換・抽出されたデータです。特徴化（feature engineering）には、スケーリング、エンコーディング、集計、時間的変換、次元圧縮などが含まれます。
特徴量の型
- 数値（連続値、離散値）：温度、金額、カウントなど。スケーリングや標準化の対象。
- カテゴリカル（名義尺度）：性別や国名など。ワンホット、ターゲットエンコーディングなどで処理。
- 順序尺度（ordinal）：学歴や評価（低・中・高）。整数にマッピングして用いることが多い。
- 日時・時刻：周期性（曜日、時間帯）、経過時間への変換、ラグ特徴量作成が重要。
- テキスト：Bag-of-Words、TF-IDF、単語・文ベクトル（word2vec、BERT）などで数値特徴に変換。
- 画像／音声：ピクセル、スペクトログラム、CNNによる抽出特徴（埋め込み）など。
よく使われる前処理と変換
- スケーリング（標準化、最小最大スケーリング） — 距離に敏感なアルゴリズム（KNN、SVM、ニューラルネット）で必須。
- 欠損値処理 — 欠損の意味を考慮した補完（平均／中央値、回帰補完、KNN補完）や欠損フラグの追加。
- カテゴリ変換 — ワンホット、ラベルエンコーディング、ターゲットエンコーディング（頻度や応答平均）など。
- 対数変換・ボックス・コックス変換 — 歪んだ分布の正規化や外れ値抑制。
- 多項式・交互作用特徴 — 非線形関係をモデルに取り入れる簡便な手法。
特徴量選択（Feature Selection）の手法
高次元データでは不要、冗長、あるいはノイズの多い特徴を取り除くことが重要です。代表的な手法は次の通りです。
- フィルタ法：相関係数、相互情報量、χ二乗検定などを用いて個別特徴の有用性を評価する。モデル非依存で高速。
- ラッパー法：逐次選択（前進選択、後退選択）、再帰的特徴削除（RFE）など、モデルの性能を評価しながら特徴を選ぶ。計算コストが高いが精度は高い場合が多い。
- 組み込み法：L1正則化（Lasso）や決定木系（ランダムフォレスト、XGBoost）の重要度を利用する。学習過程で選択される。
次元削減と特徴抽出
特徴量の次元を減らす、あるいは新しい抽象的な特徴に置き換える手法も重要です。
- PCA（主成分分析）：線形変換で分散を最大化する方向を抽出。可視化やノイズ除去に有効。
- LDA（線形判別分析）：クラス分離を最大化する次元圧縮。
- 非線形手法：t-SNE、UMAPなどは可視化に有効だが予測用の特徴として直接使うには注意が必要。
- 自動特徴抽出：オートエンコーダや深層学習による埋め込み（word2vec、BERT、CNNの中間層）で高次元データから有用な表現を得る。
特徴量の解釈と重要度の評価
特徴量がモデルに与える影響を理解することはビジネス的な説明責任やモデル改善に不可欠です。代表的方法：
- グローバル重要度：決定木のfeature importance、線形モデルの回帰係数（標準化済み）、Permutation Importance（特徴をシャッフルして性能低下を測る）。
- ローカル解釈：SHAP値（各予測に対する特徴の寄与を定量化）、LIME（局所線形近似）。
- 部分依存プロット（PDP）やICEプロット：ある特徴の値がモデル予測に与える影響の可視化。
注意点と落とし穴
- データリーケージ（情報漏洩）：検証データの情報が特徴作成時に訓練データに混入すると、評価が過度に楽観的になる。時系列データでは特に注意。
- 多重共線性：強く相関する特徴があると、線形モデルの係数解釈が困難になり、分散が増大する。
- 標準化・エンコーディングのタイミング：学習時と評価／本番で同じ前処理を行うために、パイプライン化して再現性を確保すること。
- 過剰な手作り特徴：複雑に作り込みすぎると過学習を招く。外部検証や堅牢なクロスバリデーションで確認する。
パイプライン化と再現性
特徴量処理は訓練時だけでなく推論時にも同じ手順を再現する必要があります。scikit-learnのPipelineやColumnTransformerのような仕組みを用いて、前処理→学習→評価→本番配備の流れを一貫して管理してください。これにより、データリーケージのリスクを下げ、運用時のバグを減らせます。
自動化とAutoML
近年はAutoMLや自動特徴量エンジニアリング（例：Featuretools、H2O AutoML、TPOT）を用いて特徴生成やモデル選択を自動化する流れがあります。自動化は探索を広げる一方で、得られた特徴やモデルの解釈可能性・法令順守の観点で人のレビューが必要です。
実務的なチェックリスト（短め）
- 目的変数との相関や因果の可能性を評価したか
- 時系列なら未来情報を利用していないか（リーケージ）
- 欠損値や外れ値の扱いを明確にしたか
- 前処理をパイプライン化して再現性を確保したか
- 特徴重要度や影響を可視化して、ビジネスに整合しているか確認したか
まとめ
特徴量は機械学習の成否を左右する中心的要素です。適切な特徴量の設計、前処理、選択、評価を行うことで、単にモデルを複雑化するよりも大きな性能改善が期待できます。同時に、データリーケージや解釈性の問題を避ける設計と運用が不可欠です。理論的な手法（PCA、正則化、SHAPなど）と実務的な注意点（パイプライン、検証の分離）を両輪で回すことが重要です。
参考文献
- Scikit-learn: Feature extraction, preprocessing and pipelines
- Alice Zheng & Amanda Casari, "Feature Engineering for Machine Learning" (O'Reilly)
- Christoph Molnar, "Interpretable Machine Learning"（SHAPやLIMEの解説）
- M. B. Ribeiro, S. Singh, C. Guestrin, "Why Should I Trust You?": LIME
- Featuretools — 自動特徴量生成ライブラリ（GitHub）
- Gareth James et al., "An Introduction to Statistical Learning"（ISLR）
投稿者プロフィール
