Graph d’interaction distillée pour la perception multi-agents

Pour améliorer le compromis performance-bande passante dans la perception multi-agents, nous proposons un nouveau graphe de collaboration distillé, appelé DiscoGraph, afin de modéliser une collaboration entraînable, sensible à la pose et adaptative entre agents. Nos principales innovations reposent sur deux aspects. Premièrement, nous introduisons un cadre enseignant-étudiant pour entraîner DiscoGraph via une distillation de connaissances. Le modèle enseignant utilise une collaboration précoce basée sur des entrées à vue d’ensemble ; le modèle étudiant repose quant à lui sur une collaboration intermédiaire avec des entrées à vue unique. Notre cadre entraîne DiscoGraph en imposant aux cartes de caractéristiques post-collaboration du modèle étudiant de correspondre aux correspondances du modèle enseignant. Deuxièmement, nous proposons un poids d’arête à valeur matricielle dans DiscoGraph. Dans cette matrice, chaque élément reflète l’attention inter-agents dans une région spatiale spécifique, permettant à un agent d’adapter dynamiquement l’accentuation des régions informatives. Lors de l’inférence, il suffit d’utiliser uniquement le modèle étudiant, nommé réseau de collaboration distillé (DiscoNet). Grâce au cadre enseignant-étudiant, plusieurs agents partageant le même DiscoNet peuvent collaborer de manière à atteindre des performances proches d’un modèle enseignant hypothétique doté d’une vue d’ensemble. Notre approche a été validée sur V2X-Sim 1.0, un grand jeu de données synthétisé à l’aide de la co-simulation CARLA et SUMO, dédié à la perception multi-agents. Nos expériences quantitatives et qualitatives en détection 3D d’objets multi-agents montrent que DiscoNet permet non seulement d’atteindre un meilleur compromis performance-bande passante par rapport aux méthodes d’état de l’art en perception collaborative, mais aussi d’offrir une justification de conception plus directe. Le code source est disponible à l’adresse suivante : https://github.com/ai4ce/DiscoNet.