バイオメカニカル制約を用いた弱教師付き3Dハンドポーズ推定

2次元画像から3次元手のポーズを推定することは、固有のスケールおよび深度の不確かさに起因する困難な逆問題である。現在の最先端手法は、3次元の真値データを用いて完全に教師付きの深層ニューラルネットワークを学習している。しかし、3次元のアノテーションを取得することは高コストであり、通常はキャリブレーション済みのマルチビュー構成や、手作業による高負荷なアノテーション作業を必要とする。一方で、2次元キーポイントのアノテーションは比較的容易に得られるが、こうした弱教師付きデータを効率的に活用して3次元手のポーズ推定の性能を向上させる方法は、依然として重要な未解決課題である。この課題の核心は、追加の2次元教師信号を直接適用しても、主に2次元の代理目的（proxy objective）に利益をもたらすだけで、深度やスケールの不確かさを十分に緩和できない点にある。この課題に向き合い、本研究では新たな損失関数のセットを提案する。広範な実験を通じて、提案する制約が深度の不確かさを著しく低減し、追加の2次元アノテーション画像をネットワークがより効果的に活用できるようにすることを示した。例えば、挑戦的なfreiHANDデータセットにおいて、本研究で提案する生物力学的制約を用いない場合、追加の2次元アノテーションを用いても深度誤差の低減はわずか15％にとどまるが、提案する生物力学的制約を導入した場合、誤差は著しく50％まで低減された。