FreiHAND：単一RGB画像からのマーカーレスなハンドポーズおよび形状取得のためのデータセット

単一のRGB画像から3次元手の姿勢を推定することは、偏りのない学習データセットに依存する極めて曖昧な問題である。本論文では、既存のデータセット上で学習した際のクロスデータセット一般化性について分析する。その結果、既存のアプローチは学習に用いたデータセットでは良好な性能を発揮するが、他のデータセットやリアルワールドのシナリオには一般化しないことが明らかになった。この問題に対処するため、我々は3次元手の姿勢と形状の両方のアノテーションを備えた、初めての大規模かつマルチビュー手のデータセットを提案する。この実世界データセットのアノテーションには、手のフィッティング最適化を含む反復的で準自動化された「人間がループに参加する（human-in-the-loop）」アプローチを提案した。この手法により、各サンプルに対して3次元姿勢と形状を同時に推定できる。我々は、本データセット上で学習した手法が、他のデータセット上でテストされた際に一貫して良好な性能を発揮することを示した。さらに、このデータセットを用いて、単一のRGB画像から完全なアーティキュレーテッド（関節構造を持つ）手の形状を予測するネットワークを学習可能である。評価セットは、アーティキュレーテッド手の形状推定のベンチマークとして活用できる。