SPEC：推定カメラを用いた野生の人物の認識

野生画像（in-the-wild images）にはカメラパラメータ情報が欠如しているため、従来の3次元人体ポーズおよび形状（HPS）推定手法は、弱透視投影、一定の大規模な焦点距離、およびカメラ回転なしという幾つかの簡略化仮定を採用している。これらはしばしば成立せず、定量的および定性的な検証により、これらの仮定が再構成された3次元形状およびポーズに誤差をもたらすことを示した。これを解決するために、本研究では単一画像から透視カメラパラメータを推定する、世界で初めての野生画像向け3次元HPS手法であるSPECを提案する。SPECは、推定されたカメラパラメータを用いて、より正確な3次元人体再構成を実現する。まず、入力画像から視野（FOV）、カメラピッチ、ロールを推定するニューラルネットワークを学習する。ここでは、従来手法よりも高いキャリブレーション精度を達成するための新しい損失関数を採用している。次に、カメラキャリブレーション情報を画像特徴と連結し、それらを統合的に用いて3次元人体形状およびポーズを回帰する新たなネットワークを学習する。SPECは標準ベンチマーク（3DPW）および、より困難なカメラ視点と変動する焦点距離を有する2つの新規データセットにおいて、従来手法を上回る精度を示した。特に、真実の3次元人体を備えた新しい写実的合成データセット（SPEC-SYN）と、キャリブレーション情報および高品質な参照人体を備えた新規野生データセット（SPEC-MTP）を構築した。定性的および定量的な分析から、推論時にカメラパラメータを把握していることが、より正確な人体再構成に寄与することが確認された。コードおよびデータセットは、研究目的のために https://spec.is.tue.mpg.de にて公開されている。