Command Palette
Search for a command to run...
接触に基づく精细化による3D人間と物体の同時再構築
Transformer
接触に基づく精细化による3D人間と物体の同時再構築 Transformer
Hyeongjin Nam Daniel Sungho Jung Gyeongsik Moon Kyoung Mu Lee
概要
人間と物体の接触は、人間が物理的に物体とどのように相互作用するかを理解するための強力な手がかりとなる。しかし、単一画像から3次元人間と物体の同時再構成のために、人間と物体の接触情報を活用することは十分に研究されていない。本研究では、人間と物体との接触情報を効果的に利用する新しい3次元人間-物体同時再構成手法(CONTHO)を提案する。当システムには2つの核心的な設計がある:1) 3次元ガイダンスによる接触推定、2) 接触に基づく3次元人間および物体の精緻化である。まず、正確な人間-物体接触推定のために、CONTHOは初期段階で3次元人間と物体を再構成し、それらを接触推定の明確な3次元ガイダンスとして利用する。次に、3次元人間と物体の初期再構成を精緻化するために、我々は新しい接触ベースの精緻化Transformerを提案する。このTransformerは、推定された人間-物体接触に基づいて、人間特徴量と物体特徴量を効果的に集約する。提案された接触ベースの精緻化により、人間と物体との誤った相関関係の学習が防止され、正確な3次元再構成が可能となる。その結果、当研究のCONTHOは人間-物体接触推定および3次元人間と物体の同時再構成において最先端の性能を達成している。本研究で使用したコードは公開されており、以下のURLからアクセスできる:https://github.com/dqj5182/CONTHO_RELEASE。