Command Palette
Search for a command to run...
MapTrace : génération de données évolutif pour le traçage de parcours sur les cartes
MapTrace : génération de données évolutif pour le traçage de parcours sur les cartes
Artemis Panagopoulou Aveek Purohit Achin Kulshrestha Soroosh Yazdani Mohit Goyal
Abstract
Bien que les modèles linguistiques à grande échelle multimodaux aient atteint des performances proches de celles des humains sur de nombreuses tâches de raisonnement visuel et textuel, leur capacité à comprendre finement l’espace — par exemple, le suivi de trajets sur des cartes — reste limitée. Contrairement aux humains, capables de rapidement interpréter et naviguer sur des cartes, les modèles actuels échouent souvent à respecter des contraintes fondamentales de parcours, en partie à cause du coût prohibitif et de la difficulté liés à la collecte de grandes quantités d’annotations précises au niveau des pixels pour les trajets. Pour remédier à ce problème, nous proposons une pipeline de génération de données synthétiques évolutives, qui exploite des images cartographiques synthétiques et une segmentation au niveau des pixels afin de produire automatiquement des annotations précises pour cette tâche exigeante. Grâce à cette pipeline, nous avons construit un jeu de données d’ajustage fin (fine-tuning) comprenant 23 000 échantillons de trajets répartis sur 4 000 cartes, permettant aux modèles d’acquérir des capacités spatiales plus humaines. En utilisant ce jeu de données, nous avons ajusté finement à la fois des modèles MLLM open-source et propriétaires. Les résultats obtenus sur MapBench montrent qu’un ajustage fin permet une amélioration significative de la robustesse, avec une augmentation du taux de réussite pouvant atteindre 6,4 points, tout en réduisant l’erreur de suivi de trajet (NDTW). Ces gains mettent en évidence que le raisonnement spatial à fort grain, absent des modèles préentraînés, peut être explicitement enseigné grâce à une supervision synthétique.