Yuhong Liu Beichen Zhang Yuhang Zang Yuhang Cao Long Xing Xiaoyi Dong Haodong Duan Dahua Lin Jiaqi Wang

Résumé

La compréhension spatiale demeure une faiblesse des grands modèles vision-langage (LVLM). Les pipelines de fine-tuning supervisé (SFT) existants et les approches récentes d'apprentissage par renforcement avec récompenses vérifiables (RLVR) dépendent tous deux d'une supervision coûteuse, d'outils spécialisés ou d'environnements contraints, ce qui limite leur échelle. Nous introduisons Spatial-SSRL, un paradigme d'apprentissage par renforcement auto-supervisé qui extrait directement des signaux vérifiables à partir d'images ordinaires en RGB ou en RGB-D. Spatial-SSRL formule automatiquement cinq tâches prétextes capturant la structure spatiale en 2D et 3D : réordonnancement de patches mélangés, reconnaissance de patches inversés, complétion de patches découpés, ordre de profondeur régionale et prédiction de position 3D relative. Ces tâches fournissent des réponses vraies (ground-truth) faciles à vérifier, sans nécessiter d'annotation humaine ni de l'LVLM. L'entraînement sur ces tâches améliore considérablement la raison spatiale tout en préservant les capacités visuelles générales. Sur sept benchmarks de compréhension spatiale, dans des scénarios d'images et de vidéos, Spatial-SSRL atteint des gains moyens de précision de 4,63 % (modèle 3B) et 3,89 % (modèle 7B) par rapport aux bases Qwen2.5-VL. Nos résultats montrent qu'une supervision simple et intrinsèque permet d'appliquer le RLVR à grande échelle et ouvre une voie pratique vers une intelligence spatiale renforcée dans les LVLM.