ISSAFE : Amélioration de la segmentation sémantique en cas d'accidents par la fusion de données basées sur des événements

Assurer la sécurité de tous les usagers de la route constitue une condition préalable indispensable à la mise en œuvre pratique des véhicules intelligents. Les systèmes d’assistance doivent non seulement atteindre une haute précision dans des conditions normales, mais également garantir une perception robuste face à des situations extrêmes. Toutefois, les accidents de circulation impliquant des collisions, des déformations, des renversements, etc., qui restent largement absents des ensembles d’entraînement habituels, ont un impact considérable sur les performances des modèles existants de segmentation sémantique. Pour relever ce défi, nous proposons une tâche peu étudiée dans le domaine de la segmentation sémantique en situation d’accident, accompagnée d’un nouveau jeu de données d’accidents appelé DADA-seg. Ce dernier contient 313 séquences d’accidents variées, comprenant chacune 40 images, dont les fenêtres temporelles couvrent la phase précédant et celle durant l’accident. Chaque 11e image est manuellement annotée afin de constituer une référence fiable pour l’évaluation de la performance de segmentation. Par ailleurs, nous introduisons une nouvelle architecture de segmentation multimodale basée sur les événements, appelée ISSAFE. Nos expériences montrent que les données basées sur les événements peuvent fournir des informations complémentaires pour stabiliser la segmentation sémantique dans des conditions défavorables, en préservant les détails fins du mouvement des objets en avant-plan rapides (objets impliqués dans les collisions). Notre approche permet d’obtenir une amélioration de +8,2 % en mIoU sur l’ensemble d’évaluation proposé, dépassant ainsi plus de 10 méthodes de segmentation de pointe. L’architecture ISSAFE s’avère ainsi efficace de manière cohérente sur des modèles entraînés sur plusieurs bases de données sources, notamment Cityscapes, KITTI-360, BDD et ApolloScape.