MobRecon: 単眼画像からのモバイル向け手のメッシュ再構成

本研究では、単一視点からの手のメッシュ再構成フレームワークを提案します。このフレームワークは、高い再構成精度、高速な推論速度、および時間的連続性を同時に達成できます。特に2D符号化については、軽量かつ効果的なスタック構造を提案します。3Dデコーディングに関しては、効率的なグラフ演算子である深さ分離スパイラル畳み込み（Depth-Separable Spiral Convolution）を提供します。さらに、2Dと3D表現のギャップを埋めるための新しい特徴量リフトモジュールを提示します。このモジュールは、ヒートマップ符号化と位置回帰手法の両方の長所を取り入れて2D精度と時間的連続性を向上させるマップベースの位置回帰（MapReg）ブロックから始まります。また、MapRegにはポーズプーリングとポーズから頂点へのリフトアプローチが続きます。これらは2Dポーズ符号化を3D頂点の意味特徴に変換します。全体として、当社の手再構成フレームワーク「MobRecon」は計算コストが低く、モデルサイズも小型であり、Apple A14 CPU上で83FPSという高速な推論速度を達成しています。FreiHAND、RHD、HO3Dv2などの人気データセットでの広範な実験により、MobReconが再構成精度と時間的連続性において優れた性能を達成していることが示されています。当社のコードは公開されており、以下のURLからアクセスできます: https://github.com/SeanChenxy/HandMesh.