要約
深層ニューラルネットワークを用いたヒューマンポーズ推定は、入力画像の大きな変動を複数の身体キーポイントにマッピングし、ヒューマンボディモデルによって課される一連の幾何学的制約と相互依存関係を満たすことを目指しています。これは非常に高次元の特徴空間における非常に困難な非線形多様体学習プロセスです。私たちは、深層ニューラルネットワークが本質的に代数的な計算システムであるため、例えばヒューマンポーズ内のキーポイント間の密接に結合された幾何学的特性や相互依存関係のような高度な人間の知識を捉える最も効率的な方法ではないと考えています。本研究では、外部知識を効果的に表現し、深層ニューラルネットワークに注入してその学習過程を適切な事前情報を用いてガイドする方法を探ることを提案します。具体的には、スタックアワーガラス設計とインセプション-レジネットモジュールを使用して、明示的なグラフィカルモデリングなしでヒューマンポーズ画像をヒートマップに回帰するフラクタルネットワークを構築します。私たちは視覚的な特徴を使用して外部知識を符号化し、中間出力がヒューマンボディモデルの制約条件をどの程度満たしているか評価します。その後、補助コスト関数を使用して学習した射影行列を通じてこれらの外部特徴量をニューラルネットワークに注入します。提案されたインセプション-レジネットモジュールの有効性と、知識射影によるガイダンス学習の利点は、広く使用されている2つのベンチマークデータセットで評価されました。私たちの手法は両方のデータセットにおいて最先端の性能を達成しています。