GPS-GLASS: 昼間のビデオとGPSデータを使用した夜間セマンティックセグメンテーションの学習

自動運転のための意味分割は、さまざまな野外環境に対して堅牢である必要があります。特に夜間の意味分割は、夜間画像のアノテーション不足と、十分なアノテーションを持つ昼間画像との大きなドメインギャップのために困難です。本論文では、新しいGPSベースの訓練フレームワークを提案します。GPSで合わせられた昼間と夜間の画像ペアが与えられた場合、クロスドメイン対応マッチングを行い、ピクセルレベルの擬似教師データを取得します。さらに、昼間ビデオフレーム間でのフロー推定を行い、GPSに基づくスケーリングを適用して別のピクセルレベルの擬似教師データを得ます。これらの擬似教師データと信頼度マップを使用して、夜間画像からのアノテーションなしで夜間の意味分割ネットワークを訓練します。実験結果は、提案手法が複数の夜間意味分割データセットにおいて有効であることを示しています。当該ソースコードは https://github.com/jimmy9704/GPS-GLASS で公開されています。