野生の混雑したシーンからロバストな3D人体メッシュを推定する学習

野生の混雑シーンから1人の人物の3D人体メッシュを復元する問題について検討する。近年、3D人体メッシュ推定において多くの進展が見られたが、テスト入力が混雑したシーンである場合、既存の手法は依然として困難に直面している。その原因は2つある。第一に、訓練データとテストデータのドメインギャップである。正確な3Dラベルを提供するモーションキャプチャデータセットは、群衆データを含んでおらず、ネットワークがターゲット人物の混雑シーンに強い画像特徴を学習するのを妨げている。第二に、複数の人物を含む局所的なバウンディングボックス内の特徴マップを空間的に平均化する特徴処理がある。全体の特徴マップを平均化することで、ターゲット人物の特徴が他の人物と区別できなくなってしまう。本研究では、初めて野生の混雑シーンに焦点を当て、上記の問題に対処することで、頑健な3D人体メッシュ推定を実現する3DCrowdNetを提案する。第一に、3Dラベルを必要とせず、ドメインギャップに影響されない2D人体ポーズ推定を活用する。第二に、ターゲット人物の特徴を他の人物と区別するジョイントベースのリグレッサーを提案する。このジョイントベースのリグレッサーは、ターゲット人物のジョイント位置から特徴をサンプリングし、人体モデルパラメータを回帰することで、ターゲットの空間的活性を保持する。その結果、3DCrowdNetはターゲットに注目した特徴を学習し、周囲の人物の関係のない特徴を効果的に排除することができる。さまざまなベンチマークで実験を行い、定量的および定性的に3DCrowdNetの野生の混雑シーンに対する頑健性を証明した。コードはhttps://github.com/hongsukchoi/3DCrowdNet_RELEASEにて公開されている。