PARE: 3次元人間体推定のための部分注意回帰器

著しい進歩にもかかわらず、最新の3次元人間姿勢と形状推定手法は、部分的な被覆に対して依然として敏感であり、体の大部分が可視であっても大幅に誤った予測を生成する可能性があることを示しています。この問題に対処するために、体部位ガイドの注意マスクを学習して予測するソフトアテンションメカニズムであるPart Attention REgressor (PARE) を導入します。我々は、最新手法が全体的な特徴表現に依存しているため、小さな被覆でも感度が高くなることを観察しました。これに対して、PAREの部位ガイド型アテンションメカニズムは、個々の体部位の可視性に関する情報を活用しながら、隣接する体部位からの情報を用いて被覆された部位を予測することでこれらの課題を克服します。定性的な分析では、PAREが合理的な注意マスクを学習することを確認し、定量評価ではPAREが既存手法よりも遮蔽特異的ベンチマークおよび標準的なベンチマークにおいてより正確で堅牢な再構成結果を達成することが確認されました。研究目的のためにコードとデータは{\small \url{https://pare.is.tue.mpg.de/}}で利用可能です。