HyperAIHyperAI

Command Palette

Search for a command to run...

MapTrace : génération de données évolutif pour le traçage de parcours sur les cartes

Artemis Panagopoulou Aveek Purohit Achin Kulshrestha Soroosh Yazdani Mohit Goyal

Abstract

Bien que les modèles linguistiques à grande échelle multimodaux aient atteint des performances proches de celles des humains sur de nombreuses tâches de raisonnement visuel et textuel, leur capacité à comprendre finement l’espace — par exemple, le suivi de trajets sur des cartes — reste limitée. Contrairement aux humains, capables de rapidement interpréter et naviguer sur des cartes, les modèles actuels échouent souvent à respecter des contraintes fondamentales de parcours, en partie à cause du coût prohibitif et de la difficulté liés à la collecte de grandes quantités d’annotations précises au niveau des pixels pour les trajets. Pour remédier à ce problème, nous proposons une pipeline de génération de données synthétiques évolutives, qui exploite des images cartographiques synthétiques et une segmentation au niveau des pixels afin de produire automatiquement des annotations précises pour cette tâche exigeante. Grâce à cette pipeline, nous avons construit un jeu de données d’ajustage fin (fine-tuning) comprenant 23 000 échantillons de trajets répartis sur 4 000 cartes, permettant aux modèles d’acquérir des capacités spatiales plus humaines. En utilisant ce jeu de données, nous avons ajusté finement à la fois des modèles MLLM open-source et propriétaires. Les résultats obtenus sur MapBench montrent qu’un ajustage fin permet une amélioration significative de la robustesse, avec une augmentation du taux de réussite pouvant atteindre 6,4 points, tout en réduisant l’erreur de suivi de trajet (NDTW). Ces gains mettent en évidence que le raisonnement spatial à fort grain, absent des modèles préentraînés, peut être explicitement enseigné grâce à une supervision synthétique.


Build AI with AI

From idea to launch — accelerate your AI development with free AI co-coding, out-of-the-box environment and best price of GPUs.

AI Co-coding
Ready-to-use GPUs
Best Pricing

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
MapTrace : génération de données évolutif pour le traçage de parcours sur les cartes | Papers | HyperAI