ArtiBoost: オンライン探索と合成を用いた3次元手部・物体姿勢推定の向上

単一のRGB画像から関節のある3次元手-物体姿勢を推定することは、非常に曖昧で困難な問題であり、多様な手の姿勢、物体の種類、カメラの視点を含む大規模なデータセットが必要とされます。しかし、実世界のデータセットはこれらの多様性に欠けることが多いです。一方、データ合成はそれぞれの多様性を容易に確保することができます。しかし、有効かつ多様な手-物体相互作用を構築し、膨大な合成データから効率的に学習することは依然として困難です。上記の課題に対処するため、私たちは軽量なオンラインデータ強化手法であるArtiBoostを提案します。ArtiBoostは、複合的な手-物体構成と視点空間（Composited hand-object Configuration and Viewpoint space: CCV-space）でのサンプリングにより、多様な手-物体姿勢とカメラの視点をカバーできます。また、損失フィードバックとサンプルの再重み付けによって現在識別が難しい項目を適応的に豊かにすることができます。ArtiBoostは学習パイプライン内でデータ探索と合成を交互に行い、その合成データは実世界のソースデータにブレンドされて訓練に使用されます。私たちはArtiBoostをシンプルな学習基準ネットワークに適用し、いくつかの手-物体ベンチマークにおいて性能向上が確認されました。私たちのモデルとコードは以下のURLで公開されています。https://github.com/lixiny/ArtiBoost.