TALoS: Verbesserung der semantischen Szenevervollständigung durch Testzeit-Adaptierung entlang der Sichtlinie

Semantic Scene Completion (SSC) strebt danach, geometrische Vervollständigung und semantische Segmentierung gleichzeitig durchzuführen. Trotz der vielversprechenden Ergebnisse, die bisherige Studien erzielt haben, stellt die inhärent schlecht gestellte Natur dieser Aufgabe erhebliche Herausforderungen in verschiedenen Fahrzeugumgebungen dar. In diesem Artikel stellen wir TALoS vor, einen neuen Ansatz zur Testzeit-Anpassung für SSC, der die im Fahrbereich verfügbaren Informationen auswertet. Insbesondere konzentrieren wir uns darauf, dass Beobachtungen zu einem bestimmten Zeitpunkt als Ground Truth (GT) für die Szenevollständigung zu einem anderen Zeitpunkt dienen können. Angesichts der Eigenschaften des LiDAR-Sensors bestätigt eine Beobachtung eines Objekts an einem bestimmten Ort sowohl 1) die Besetzung dieses Ortes als auch 2) das Fehlen von Hindernissen entlang der Sichtlinie vom LiDAR zu diesem Punkt. TALoS nutzt diese Beobachtungen, um Selbstüberwachung bezüglich Besetztheit und Leerheit zu erhalten und leitet das Modell zur Anpassung an die Szene in der Testzeit. Auf ähnliche Weise aggregieren wir verlässliche SSC-Vorhersagen über mehrere Zeitpunkte und nutzen sie als semantische Pseudo-GT für die Anpassung. Darüber hinaus, um zukünftige Beobachtungen zu nutzen, die zum aktuellen Zeitpunkt nicht zugänglich sind, präsentieren wir ein duales Optimierungsschema, bei dem das Update bis zur Verfügbarkeit der zukünftigen Beobachtung verzögert wird. Evaluierungen auf den Validierungs- und Testsets von SemanticKITTI zeigen, dass TALoS die Leistungsfähigkeit des vorgefertigten SSC-Modells erheblich verbessert. Unser Code ist unter https://github.com/blue-531/TALoS verfügbar.