WiLoR: エンドツーエンドの野生環境下での3D手の位置特定と再構成

近年、3D手の姿勢推定手法は、ヒューマンコンピュータインタラクション、バーチャルリアリティ、およびロボット工学における広範な応用により、大きな注目を集めています。一方で、手の検出パイプラインにおいては、実世界での効果的な多手再構築システムの構築に大きな課題をもたらす著しいギャップが存在していました。本研究では、実世界での効率的な多手再構築を実現するデータ駆動型パイプラインを提案します。提案されたパイプラインは2つの構成要素からなります：リアルタイムの完全畳み込み型手位置特定と高忠実度のトランスフォーマーに基づく3D手再構築モデルです。従来の手法の制約を克服し、堅牢かつ安定した検出ネットワークを構築するために、多様な照明、明るさ、遮蔽条件を持つ200万以上の実世界手画像を含む大規模データセットを導入しました。当方針は、一般的な2Dおよび3Dベンチマークにおいて効率性と精度の両面で既存手法を上回っています。最後に、時間成分を利用せずに単眼ビデオから滑らかな3D手追跡を達成する当パイプラインの有効性を示します。コード、モデル、およびデータセットは以下のURLで公開されています: https://rolpotamias.github.io/WiLoR.