3Dシーンの人口化：人間とシーンの相互作用の学習

人類は3次元空間内で生活し、タスクを遂行するためにその空間と継続的に相互作用しています。これらの相互作用には、意味的に重要な表面間の物理的な接触が含まれます。私たちの目標は、人間がシーンとどのように相互作用するかを学習し、それを活用して仮想キャラクターにも同様の相互作用を可能にすることです。この目的のために、近接関係を符号化する新しい人間-シーン相互作用（HSI）モデルであるPOSA（「ポーズと近接性および接触」の略）を導入します。相互作用の表現は身体中心的であり、これにより新しいシーンへの汎化が可能になります。具体的には、POSAはSMPL-Xパラメトリック人間体モデルを拡張し、各メッシュ頂点に対して(a) シーン表面との接触確率と(b) 対応する意味的なシーンラベルを符号化します。POSAはSMPL-X頂点に基づいて条件付けられたVAE（Variational Autoencoder）で学習し、PROXデータセットを使用して訓練されます。このデータセットには、3次元シーンと相互作用している人々のSMPL-Xメッシュと、PROX-Eデータセットから得られる対応するシーンセマンティクスが含まれています。POSAの価値を示すために2つのアプリケーションを行います。まず、人々の3次元スキャンをシーン内に自動配置します。スキャンに適合したSMPL-Xモデルを使用して代理として扱い、その後その最適な3次元配置を見つけます。POSAは、「アフォーダンス」（affordances）と呼ばれるシーン内の特性を探し出す効果的な表現手段を提供し、そのポーズに対する可能性のある接触関係に一致させることができます。私たちは知覚研究を行い、このタスクにおいて現状の最先端技術よりも大幅な改善が見られることを示しました。次に、POSAが学習した身体-シーン相互作用の表現が単眼の人間ポーズ推定をサポートし、3次元シーンと一貫性のある結果を得られることを示します。これも現状の最先端技術を超える成果となっています。当社のモデルとコードは研究目的でhttps://posa.is.tue.mpg.de から利用可能です。