Luis Wiedmann Orr Zohar Amir Mahla Xiaohan Wang Rui Li Thibaud Frere Leandro von Werra Aritra Roy Gosthipaty Andrés Marafioti

Résumé

L'évolution des modèles vision-langage (VLM) est freinée par un paysage fragmenté de jeux de données publics incohérents et contaminés. Nous introduisons FineVision, un corpus soigneusement collecté, trié et unifié comprenant 24 millions d'échantillons – la ressource ouverte la plus vaste de ce type à ce jour. Nous avons unifié plus de 200 sources en 185 sous-ensembles grâce à un pipeline semi-automatisé intégrant une intervention humaine : l'automatisation assure l'ingestion massive et le mappage des schémas, tandis que des relecteurs vérifient les mappages et effectuent des contrôles ponctuels sur les sorties afin de garantir une consommation fidèle des annotations, un formatage approprié, une diversité adéquate et un respect des critères de sécurité ; les anomalies déclenchent des corrections ciblées et des reexécutions. Le processus applique également une déduplication rigoureuse à l'intérieur et entre les sources, ainsi qu'une décontamination par rapport à 66 benchmarks publics. FineVision inclut également des tâches agencées/par interface graphique (GUI) via un espace d’actions unifié ; les relecteurs valident les schémas et examinent un échantillon de trajectoires pour confirmer la fidélité exécutable. Les modèles entraînés sur FineVision surpassent de manière constante ceux entraînés sur les mélanges ouverts existants dans une large gamme d'évaluations, mettant en évidence les avantages de l'échelle, de la qualité des données et de l'équilibre entre automatisation et surveillance humaine. Nous mettons à disposition le corpus ainsi que les outils de curation afin d'accélérer la recherche centrée sur les données dans le domaine des VLM.