TALoS : Amélioration de la complétion sémantique des scènes grâce à l'adaptation au moment du test sur la ligne de mire

La complétion sémantique de scène (SSC) vise à effectuer simultanément la complétion géométrique et la segmentation sémantique. Malgré les résultats prometteurs obtenus par les études existantes, la nature intrinsèquement mal posée de cette tâche présente des défis importants dans divers scénarios de conduite. Cet article introduit TALoS, une nouvelle approche d'adaptation au moment du test pour l'SSC qui exploite les informations disponibles dans les environnements de conduite. Plus précisément, nous nous concentrons sur le fait que les observations faites à un certain moment peuvent servir de vérité terrain (Ground Truth, GT) pour la complétion de scène à un autre moment. Étant donné les caractéristiques du capteur LiDAR, une observation d'un objet à un certain emplacement confirme à la fois 1) l'occupation de cet emplacement et 2) l'absence d'obstacles le long du trajet entre le LiDAR et ce point. TALoS utilise ces observations pour obtenir une auto-supervision sur l'occupation et le vide, guidant ainsi le modèle à s'adapter à la scène en temps réel. De manière similaire, nous agrégons des prédictions fiables d'SSC parmi plusieurs moments et les utilisons comme vérité terrain sémantique pseudo-GT pour l'adaptation. De plus, afin d'utiliser des observations futures qui ne sont pas accessibles au moment actuel, nous présentons un schéma d'optimisation dual utilisant le modèle où la mise à jour est retardée jusqu'à ce que l'observation future soit disponible. Les évaluations sur les ensembles de validation et de test SemanticKITTI montrent que TALoS améliore considérablement les performances du modèle SSC pré-entraîné. Notre code est disponible sur https://github.com/blue-531/TALoS.