要約
人々は3次元の世界に生きている。しかし、現在の人物再識別（re-id）に関する研究の多くは、2次元空間における意味表現学習に焦点を当てており、人物理解に本質的に制約を受けています。本研究では、3次元人体構造に関する事前知識を活用することで、この制約を克服します。具体的には、2次元画像を3次元空間に投影し、歩行者の表現を3次元点群から直接学習するための新しいパラメータ効率型のオムニスケールグラフネットワーク（OG-Net）を導入します。OG-Netは、疎な3次元点群が提供する局所情報を効果的に活用するとともに、構造情報と外観情報の両方を一貫した形で統合します。3次元幾何情報の支援により、スケールや視点変化などのノイズを含む変動から解放された新たなタイプの深層再識別特徴を学習することが可能になります。本研究の知見によれば、我々は3次元空間における人物再識別を試みた初期の例の一つです。広範な実験を通じて、提案手法が（1）従来の2次元空間におけるマッチングの難易度を軽減し、（2）2次元外観と3次元構造の補完的情報を有効に活用し、（3）4つの大規模人物再識別データセットにおいて限られたパラメータで競争力ある性能を達成し、（4）未観測のデータセットに対しても良好なスケーラビリティを示すことを実証しました。本研究のコード、モデルおよび生成された3次元人体データは、https://github.com/layumi/person-reid-3d にて公開されています。