コンテンツ意識型教師なしディープホモグラフィ推定

ホモグラフィ推定は、多くの応用分野において基本的な画像整合手法である。通常、疎な特徴点を抽出・マッチングすることで実施されるが、低照度や低テクスチャの画像では誤差が生じやすい。一方、従来の深層学習に基づくホモグラフィ手法は、教師あり学習のための合成画像または教師なし学習のための航空画像を用いることが多く、実世界の応用において重要な深度差や動く物体の取り扱いを無視している。本研究では、これらの課題を克服するため、新たなアーキテクチャを採用した教師なし深層ホモグラフィ手法を提案する。従来手法のRANSAC手順の精神に倣い、信頼性の高い領域のみを選択するための外れ値マスクを特別に学習する。過去の手法が画像コンテンツを直接比較して損失を計算していたのに対し、本手法では学習した深層特徴に基づいて損失を計算する。教師なし学習を実現するため、ネットワークに特化した新たな三重損失（triplet loss）を設計した。提案手法の有効性を、タスクの難易度が多様な広範なシーンをカバーする新しいデータセットを用いて、包括的な比較実験により検証した。実験結果から、従来の最先端手法（深層学習的手法および特徴点ベース手法を含む）を上回る性能を達成することが明らかになった。