姿勢推定完全ガイド：2D/3D、トップダウンとボトムアップ、代表手法・データセット・評価指標・応用と課題
エバープレイ編集部姿勢推定とは — 概要
姿勢推定（しせいすいてい、pose estimation）は、画像や動画、あるいはセンサー入力から人間や物体の関節や骨格の位置（キーポイント）を検出・推定する技術です。典型的には人体の関節（頭、肩、肘、手首、腰、膝、足首など）の2次元（画像座標）もしくは3次元座標を出力します。コンピュータビジョンと機械学習を組み合わせた技術領域で、動作解析やヒューマンコンピュータインタラクション（HCI）、医療・リハビリテーション、スポーツ解析、AR/VRなど幅広い応用があります。
歴史と発展の流れ
初期（モデルベース・手工学的特徴）: 2000年代前半までは、もっぱら幾何学的モデルやパーツベースの手法、HOGなどの手工学的特徴と確率的モデル（例：pictorial structures）が用いられていました。
深層学習の台頭（2010年代）: 2014年ごろから、Toshev & Szegedy のDeepPoseのようにニューラルネットワークを用いてキーポイントを直接回帰する手法が登場し、その後ヒートマップ回帰やエンドツーエンドな畳み込みニューラルネットワーク（CNN）が主流になりました。
マルチパーソン対応とリアルタイム化：OpenPose（Caoら）によるPart Affinity Fieldsなど、複数人を同時に処理するためのトポロジ情報を利用した手法や、処理効率を重視した軽量モデルが実用化されました。
3次元姿勢推定、時空間モデル：画像だけでなく複数カメラやモノの慣性計測装置（IMU）との統合、映像全体の時間的整合性を取る手法（RNN、Temporal Convolutionなど）も活発に研究されています。
技術的な分類：2D vs 3D、トップダウン vs ボトムアップ
2D姿勢推定：入力画像上の各関節のピクセル座標を出力します。多くの一般用途（ポーズ検出、ARフィルタなど）はまず2Dで行われます。
3D姿勢推定：単眼画像、マルチビュー、もしくはRGB-DカメラやIMUを用いて3次元空間上の関節位置（あるいは骨格の相対角度）を推定します。3Dは動作解析やロボティクスで重要です。
トップダウン方式：まず人物を検出（バウンディングボックス）し、各人に対して単独で姿勢推定を行います。精度が高い反面、人物検出の誤りに依存します。
ボトムアップ方式：まず全ての関節候補を検出し、それらを人ごとにグルーピングして骨格を構成します。多人数のシーンで効率的ですが、グルーピングが難しい場面があります。
代表的な手法とアーキテクチャ（技術の詳細）
以下に主要なアプローチを簡潔に説明します。
直接回帰（Coordinate Regression）: 画像特徴から関節座標を直接出力します。実装が簡単ですが、空間情報の細かい表現が難しく精度面で限界があることが指摘されます。
ヒートマップ回帰（Heatmap Regression）: 各関節について「存在確率マップ（ヒートマップ）」を推定し、そのピーク位置を関節位置とみなします。空間構造を扱いやすく高精度で、多くのSOTAモデルが採用しています（Stacked Hourglass、SimpleBaseline、HRNetなど）。
部位間関係（Part Affinity / Graph-based）: 関節同士のつながり（肘は肩と手首につながる）を明示的にモデリングすることで、複数人物シーンのキーポイントを正しく組み合わせることが可能になります（OpenPoseのPart Affinity Fieldsなど）。
トップダウン＋検出器統合：Mask R-CNNなどの物体検出・セグメンテーションフレームワークに姿勢ヘッドを統合することで、検出と姿勢推定を同時に行う手法が実用化されています。
時系列モデル：動画に対してはフレーム間の時間的一貫性を利用して推定精度を高めます。Temporal Convolution、RNN、Transformerベースの時系列モデルが用いられます。
3D推定手法：単眼2Dから3Dへリフトするモデル（2D検出→3D復元）、マルチビューでの幾何学的最適化、IMUと映像の融合などがあります。評価指標やデータ収集が難しいため研究が活発です。
主なデータセットと評価指標
代表データセット:
COCO Keypoints：多人数の2Dキーポイントアノテーションを含む大規模データセット。
MPII Human Pose：日常行動に近い画像で主要な2D姿勢がアノテートされています。
Human3.6M：複数カメラとモーションキャプチャによる大規模な3D姿勢データセット（研究用途で広く使われる）。
PoseTrack：動画中の人物姿勢の時系列アノテーションを含むデータセット。
評価指標:
PCK（Percentage of Correct Keypoints）：基準距離以内に推定点があれば正解とする比率。画像サイズ基準や頭部サイズ基準など複数の定義があります。
AP（Average Precision）/OKS（Object Keypoint Similarity）：COCOではOKSに基づくAPが用いられます。
MPJPE（Mean Per Joint Position Error）：3D点間の平均距離（ミリメートル）を用いる指標。
実装と主要ライブラリ・フレームワーク
研究実装や実用システムは、主に深層学習フレームワーク上に構築されます。代表的な実装・ライブラリには以下があります。
OpenPose（CMU）: リアルタイムなマルチパーソン2D姿勢推定ライブラリ。GitHubで公開されており、Part Affinity Fieldsにより人物ごとのグルーピングを実現。
AlphaPose, HRNet, SimpleBaseline: 高精度を目指す研究実装群。PyTorch実装が多いです。
Detectron2 / Mask R-CNN: 検出器と連携して姿勢推定を行うフレームワーク。
MediaPipe（Google）: モバイルやWebで動作する軽量で高速な姿勢（およびハンドトラッキング等）ソリューション。
OpenCV: 前処理や可視化、簡易的な推論パイプラインの構築に便利。
主な応用分野
医療・リハビリテーション：歩行解析、リハビリの姿勢評価、動作の定量評価。
スポーツ解析：フォーム改善、怪我予防、パフォーマンス計測。
AR/VR / ゲーム：ユーザーの動きを骨格として取り込み、アバター制御やインタラクションに利用。
ヒューマンロボットインタラクション：人の動きを理解して安全に協調動作するための認識。
小売・マーケティング：行動解析（試着・導線解析）や店内イベントの効果測定。
安全監視・ドライバーモニタリング：異常行動検出、眠気検知など。
課題と限界
遮蔽・重なり（Occlusion）：人物同士や物体で関節が隠れると正確な推定が困難です。
視点・スケールの変化：単一カメラでは深度や大きさによる誤差が生じやすい。
ドメインシフト：訓練データと実利用環境（照明、衣服、カメラ特性など）が異なると性能低下。
リアルタイム要件：エッジデバイスやモバイルでの低遅延処理と高精度の両立は難しい。
3Dデータ取得の困難さ：高品質な3Dアノテーションはモーションキャプチャ設備が必要でデータ収集コストが高い。
将来展望
今後は以下の方向が期待されます。軽量化と高精度の両立、自己教師あり学習や合成データによるドメイン適応、マルチモーダル（映像+IMU＋音声）統合、プライバシ配慮型のオンデバイス推論、そして動作理解（ポーズだけでなく意図や複合的な行為の解釈）への発展です。さらに、Transformerや大規模自己教師あり学習の導入により、より一般化可能な姿勢推定モデルが登場しています。
倫理・プライバシー上の配慮
映像ベースの姿勢推定には個人の動きや健康情報が含まれるため、プライバシー保護が重要です。顔や個人を特定しない処理、データ最小化（必要最低限の情報のみ保存）、オンデバイス推論によるクラウド送信の回避、利用者の同意取得などが求められます。差別的な用途や監視の濫用にも注意が必要です。
まとめ
姿勢推定は、画像や動画から人体（あるいは物体）のキーポイントを推定する技術で、Deep Learningの進展により精度と速度が飛躍的に向上しました。2D/3Dやトップダウン/ボトムアップといったアプローチの使い分け、適切なデータセットと評価指標の選択、実環境でのドメイン適応やプライバシー配慮が実用化の鍵となります。今後は時空間情報やマルチモーダル情報の統合、自己教師あり学習の活用によりさらに応用範囲が広がると期待されます。
参考文献
COCO Keypoints: Common Objects in Context — Keypoint Detection.
PoseTrack: A benchmark for human pose estimation and tracking in videos.
投稿者プロフィール
