HyperAIHyperAI

Command Palette

Search for a command to run...

MapTrace : génération de données évolutif pour le traçage de parcours sur les cartes

Artemis Panagopoulou Aveek Purohit Achin Kulshrestha Soroosh Yazdani Mohit Goyal

Résumé

Bien que les modèles linguistiques à grande échelle multimodaux aient atteint des performances proches de celles des humains sur de nombreuses tâches de raisonnement visuel et textuel, leur capacité à comprendre finement l’espace — par exemple, le suivi de trajets sur des cartes — reste limitée. Contrairement aux humains, capables de rapidement interpréter et naviguer sur des cartes, les modèles actuels échouent souvent à respecter des contraintes fondamentales de parcours, en partie à cause du coût prohibitif et de la difficulté liés à la collecte de grandes quantités d’annotations précises au niveau des pixels pour les trajets. Pour remédier à ce problème, nous proposons une pipeline de génération de données synthétiques évolutives, qui exploite des images cartographiques synthétiques et une segmentation au niveau des pixels afin de produire automatiquement des annotations précises pour cette tâche exigeante. Grâce à cette pipeline, nous avons construit un jeu de données d’ajustage fin (fine-tuning) comprenant 23 000 échantillons de trajets répartis sur 4 000 cartes, permettant aux modèles d’acquérir des capacités spatiales plus humaines. En utilisant ce jeu de données, nous avons ajusté finement à la fois des modèles MLLM open-source et propriétaires. Les résultats obtenus sur MapBench montrent qu’un ajustage fin permet une amélioration significative de la robustesse, avec une augmentation du taux de réussite pouvant atteindre 6,4 points, tout en réduisant l’erreur de suivi de trajet (NDTW). Ces gains mettent en évidence que le raisonnement spatial à fort grain, absent des modèles préentraînés, peut être explicitement enseigné grâce à une supervision synthétique.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
MapTrace : génération de données évolutif pour le traçage de parcours sur les cartes | Articles | HyperAI