HandBooster: 条件付き手と物体の相互作用の合成とサンプリングによる3D手メッシュ再構築の向上

単一の画像から3次元手メッシュを堅牢に再構築することは、既存の実世界データセットにおける多様性の不足により非常に困難です。データ合成はこの問題を緩和するのに役立ちますが、合成データと実際のデータとの間のギャップ（syn-to-real gap）がその利用を妨げています。本研究では、HandBoosterという新しい手法を提案します。この手法は、手と物体の相互作用に基づく条件付き生成空間を学習し、その空間から効果的なデータサンプルを意図的に生成することで、データの多様性を向上させ、3次元手メッシュ再構築の性能を向上させるものです。まず、多様な手の外観、姿勢、視点、背景を持つ現実的な画像を生成するために、拡散モデルをガイドするための柔軟なコンテンツ認識条件を作成します。幸いにも、正確な3次元アノテーションが無料で得られます。次に、類似度認識分布サンプリング戦略に基づいて新たな条件作成者を設計し、訓練セットとは異なる新しいかつ現実的な相互作用姿勢を見つけることを目指します。当手法を使用することで、HO3DおよびDexYCBベンチマークにおいて複数のベースラインが大幅に改善され、最先端（SOTA）を超える性能が達成されました。当研究に関連するコードは以下のURLで公開されます: https://github.com/hxwork/HandBooster_Pytorch。