Command Palette
Search for a command to run...
WiLoR:野外環境におけるエンドツーエンド型3D手の局所化と再構成
WiLoR:野外環境におけるエンドツーエンド型3D手の局所化と再構成
Potamias Rolandos Alexandros Zhang Jinglei Deng Jiankang Zafeiriou Stefanos
概要
近年、人間-コンピュータインタラクション、バーチャルリアリティ、ロボティクスなど幅広い応用が期待されるため、3D手の姿勢推定手法は注目を集めている。一方で、手の検出パイプラインには顕著なギャップが存在し、現実世界におけるマルチ手再構成システムの構築に大きな課題をもたらしている。本研究では、野外環境における効率的なマルチ手再構成を実現するデータ駆動型パイプラインを提案する。提案手法は、リアルタイムな完全畳み込み型手部位推定モジュールと、高忠実度を実現するTransformerベースの3D手再構成モデルの2つの構成要素から構成される。従来手法の限界を克服し、堅牢かつ安定した検出ネットワークの構築を実現するため、多様な照明条件、照度、遮蔽状況を含む200万枚以上の野外手画像を含む大規模データセットを新たに構築した。本手法は、一般的な2Dおよび3Dベンチマークにおいて、効率性と精度の両面で既存手法を上回る性能を示した。さらに、時間的な情報を一切使用せずに、単眼動画から滑らかな3D手追跡を実現するパイプラインの有効性を実証した。コード、モデル、データセットは以下のURLから公開されている:https://rolpotamias.github.io/WiLoR。