要約
私たちは、堅牢最適化の古典的なRANSACアルゴリズムを拡張したNeural-Guided RANSAC（NG-RANSAC）を提案します。NG-RANSACは、事前情報を使用してモデル仮説の探索を改善し、外れ値のない最小集合を見つける確率を高めます。従来の研究では、手作りの記述子距離などのヒューリスティックな補助情報を使って仮説探索をガイドしていました。これに対して、私たちは訓練中に任意のタスク損失を最適化できるように原理的に仮説探索を学習します。これにより、古典的なコンピュータビジョンタスクでの大幅な改善がもたらされます。さらに、NG-RANSACに2つの拡張を加えました。まず、内点数自体を訓練信号として使用することで、自己教師あり学習でニューラルガイダンスを訓練することが可能になります。次に、ニューラルガイダンスと微分可能なRANSACを組み合わせて、入力データの特定部分に焦点を当てながら出力予測を最適化するニューラルネットワークを作り上げました。私たちはNG-RANSACを広範なコンピュータビジョンタスクで評価しました。具体的には、極線幾何学の推定、水平線推定およびカメラ再ローカライゼーションにおいて評価を行いました。その結果、最新の堅牢推定器（特に最近学習されたもの）と比較しても優れたまたは競合する結果を得ることができました。