不均一な2D画像集合からのJoint Deep Multi-Graph Matching と 3D幾何学学習

グラフマッチングは、グラフの頂点間に対応関係を確立することを目的とし、頂点および辺の属性が一致するようにする。近年、深層学習に基づくグラフマッチング定式化を用いて、画像のキーポイント間の対応関係を学習する手法が多数提案されている。これらのアプローチは主に頂点および辺の属性の学習に注力しているが、2次元画像に描かれた3次元オブジェクトの3次元幾何構造を完全に無視している。本研究では、非一様な画像集合（同一カテゴリの異なるオブジェクトインスタンスを描写する画像群）から変形可能な3次元幾何モデルを学習するため、グラフニューラルネットワークを活用する学習可能なフレームワークを提案することで、このギャップを埋める。実験により、精度およびサイクル一貫性誤差の両面において、最近の学習ベースのグラフマッチング手法を上回ることを示した。さらに、2次元画像に描かれたオブジェクトの背後にある3次元幾何構造を同時に取得することにも成功した。