協調学習を用いた手と物体の再構成に注目したグラフ畳み込み

手と物体の相互作用下での姿勢と形状の推定は、拡張現実や仮想現実など、多くの応用分野を持っています。既存の手と物体の再構成手法は、明示的に定義された物理的な制約と既知の物体を必要とするため、その適用範囲が限定されています。当研究では、物体モデルに依存せず、手と物体の相互作用を支配する物理則を学習するアルゴリズムを開発しました。これには、手と（潜在的に未知の）物体の形状および物理的な相互作用を自動的に推論することが必要です。この難問に取り組むために、我々は深層ネットワークの2つのブランチが互いから学習する協調学習戦略を提案します。具体的には、手メッシュ情報を物体ブランチへ転送し、逆もまた同様に行います。生成される最適化（学習）問題は不安定になる可能性があるため、これを解決するために2つの戦略を採用しています：(i) 注意力誘導グラフ畳み込み（attention-guided graph convolution）で相互に遮蔽される部分を特定し、焦点を当てることと (ii) 監督なし関連損失（unsupervised associative loss）でブランチ間での情報転送を容易にすることです。4つの広く使用されているベンチマークを使用した実験結果は、当フレームワークが3次元姿勢推定において最先端を超える精度を達成しており、また高密度な3次元手と物体形状の復元にも成功していることを示しています。上記各技術的要素はアブレーションスタディにおいて有意義な貢献を行っています。