TALoS: 視線におけるテスト時適応を用いた意味的なシーン補完の向上

セマンティックシーンコンプリーション（SSC）は、幾何学的な補完とセマンティックセグメンテーションを同時に実行することを目指しています。既存の研究では有望な結果が得られていますが、このタスクの本質的に解釈不能な性質は、多様な走行シナリオにおいて大きな課題となっています。本論文では、TALoS（Test-time Adaptation for LiDAR-based Occupancy and Semantic Scene Completion）という新しいテスト時の適応手法を紹介します。TALoSは、走行環境に存在する情報を掘り起こすことでSSCの性能向上を図ります。具体的には、ある瞬間に得られた観測情報が別の瞬間のシーン補完における真値（Ground Truth: GT）として機能することに注目しています。LiDARセンサの特性を考えると、特定の位置での物体の観測は1) その位置が占有されていることと2) LiDARからその点までの視線上に障害物がないことを確認します。TALoSはこれらの観測情報を用いて占有と空き状態に関する自己監督を行い、モデルがテスト時にシーンに適応するよう導きます。同様の方法で、複数の瞬間における信頼性のあるSSC予測を集約し、それらを適応用のセマンティック疑似GTとして活用します。さらに、現在利用できない未来の観測情報を活用するために、未来の観測情報が利用可能になるまで更新を遅延させる二重最適化スキームを提案します。SemanticKITTI検証セットおよびテストセットでの評価により、TALoSが事前学習されたSSCモデルの性能を大幅に向上させることを示しています。当該コードはhttps://github.com/blue-531/TALoSで公開されています。