FFB6D：6次元姿勢推定のためのフルフロー双向融合ネットワーク

本研究では、単一のRGBD画像から6次元（6D）姿勢推定を行うための、フルフロー双向融合ネットワーク「FFB6D」を提案する。我々の主な洞察は、RGB画像に含まれる外観情報と深度画像から得られる幾何情報が、互いに補完的なデータソースであるということであり、これらをどのように完全に活用するかは依然として未解決の課題である。この問題に対処するために、FFB6Dを提案する。本手法は、表現学習段階において外観情報と幾何情報を統合する能力を学習するとともに、出力表現の選択も行う。具体的には、表現学習段階において、二つのネットワークのフルフローに双向融合モジュールを構築し、エンコーディング層およびデコーディング層の各段階で融合を適用する。これにより、両方のネットワークが相手側からの局所的・グローバルな補完的情報を活用し、より優れた表現を獲得できる。さらに、出力表現段階では、物体のテクスチャ情報と幾何情報の両方を考慮した、シンプルながら効果的な3次元キーポイント選択アルゴリズムを設計した。これにより、正確な姿勢推定に向けたキーポイントの局所化が大幅に簡素化される。実験結果から、本手法は複数のベンチマークにおいて、従来の最先端手法を大きく上回る性能を達成した。コードと動画は、\url{https://github.com/ethnhe/FFB6D.git} で公開されている。