要約
動的環境における自律航行において、シーン理解は極めて重要である。この分野における認識タスク、例えばセグメンテーションやトラッキングは、通常個別に取り組まれている。本論文では、LiDARスキャンを用いた4Dパンノプティックセグメンテーションという問題に取り組む。これは、時間的スキャンシーケンス内の各3次元点に対して意味的クラスを割り当てるとともに、各物体に対して時間的に一貫したインスタンスIDを付与することを要求する。我々は、任意の単一スキャン用パンノプティックセグメンテーションネットワークを基盤とし、時間的なインスタンス間の関連付けによってそのネットワークを時間領域へ拡張する新たなアプローチを提案する。提案する対照的集約ネットワークは、パンノプティックネットワークから得られる点単位の特徴量を活用する。このネットワークは、同一インスタンスが異なる時刻に記録された点の符号化が互いに近くなるように、他のインスタンスの符号化から離れるような埋め込み空間を生成する。訓練プロセスは、自己教師付きメトリック学習における対照学習技術に着想を得ている。本研究の関連モジュールは、外観と運動の手がかりを統合してスキャン間のインスタンスを関連付けることで、時間的認識を実現する。提案手法はSemanticKITTIベンチマーク上で評価され、ポーズ情報に依存せずに最先端の性能を達成した。