野外における弱教師ありメッシュ畳み込み型手再構成

単眼3次元手の姿勢推定を目的とした、シンプルかつ効果的なネットワークアーキテクチャを提案する。本アーキテクチャは、画像エンコーダとメッシュ畳み込みデコーダから構成され、直接的な3次元手メッシュ再構成損失を通じて学習される。本研究では、YouTube動画から大規模な手の動作データセットを収集し、弱教師あり学習のためのソースとして活用する。この弱教師あり学習に基づくメッシュ畳み込みベースのシステムは、最先端手法を大きく上回り、特に「in the wild」ベンチマークにおいて誤差を半減する成果を達成した。データセットおよび追加リソースは、https://arielai.com/mesh_hands にて公開されている。