HyperAIHyperAI

Command Palette

Search for a command to run...

H2ONet:リアルタイム3Dハンドメッシュ再構成のための手の遮蔽および方向に配慮したネットワーク

Chi-Wing Fu Xiao Tang Tianyu Wang Hao Xu

概要

リアルタイム3D手メッシュ再構成は、特に物体を握っている状態では極めて困難である。従来の手法を超越して、本研究ではH2ONetを設計し、複数フレームからの非隠蔽情報を効果的に活用することで、再構成精度を向上させることを目指した。まず、手メッシュ再構成を2つのブランチに分離する。一方は指レベルの非隠蔽情報を活用し、他方は手全体の姿勢(グローバルな手の向き)を捉える。両ブランチとも軽量な構造を採用することで、リアルタイム推論を実現した。次に、指レベルの隠蔽状態を意識した特徴融合手法を提案。予測された指レベルの隠蔽情報をガイドとして用い、時間的に跨がる指レベルの情報を効果的に統合する。さらに、手レベルの隠蔽状態を意識した特徴融合機構を設計し、近接する時間フレームから非隠蔽情報を取得する。本手法は、手と物体の隠蔽が顕著な難易度の高いケースを含むDex-YCBおよびHO3D-v2データセット上で評価された結果、リアルタイム動作を実現しつつ、手メッシュ再構成精度および姿勢推定精度の両面で最先端の性能を達成した。コードはGitHubにて公開予定である。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています