StructChart : Sur le schéma, la métrique et l'augmentation pour la compréhension visuelle des graphiques

Les graphiques sont couramment utilisés dans la littérature de divers domaines scientifiques, transmettant des informations riches et facilement accessibles aux lecteurs. Les tâches actuelles liées aux graphiques se concentrent soit sur la perception des graphiques, qui consiste à extraire des informations à partir des représentations visuelles, soit sur le raisonnement basé sur les données extraites, par exemple sous forme tabulaire. Dans cet article, nous introduisons StructChart, un cadre novateur qui utilise des Représentations Triplet Structurées (RTS) pour atteindre une approche unifiée et efficace en termes d'étiquetage pour les tâches de perception et de raisonnement des graphiques. Cette approche est généralement applicable à différentes tâches en aval, au-delà de la tâche de réponse aux questions spécifiquement étudiée dans les travaux comparables. Plus précisément, StructChart reformule d'abord les données du graphique sous forme tubulaire (CSV linéarisé) en RTS, ce qui réduit amicalement l'écart entre les tâches de perception et de raisonnement des graphiques. Nous proposons ensuite une Métrique de Représentation Orientée vers la Structure des Graphiques (SCRM) pour évaluer quantitativement les performances de la tâche de perception des graphiques. Pour enrichir l'entraînement, nous explorons également le potentiel des Grands Modèles Linguistiques (GMLs) afin d'accroître la diversité tant dans le style visuel des graphiques que dans leurs informations statistiques. De nombreuses expériences menées sur diverses tâches liées aux graphiques démontrent l'efficacité et le potentiel d'un paradigme unifié de perception-raisonnement pour repousser les frontières de la compréhension des graphiques.Note : - "Représentations Triplet Structurées" (RTS) est utilisé pour traduire "Structured Triplet Representations" (STR).- "Métrique de Représentation Orientée vers la Structure des Graphiques" (SCRM) est utilisé pour traduire "Structuring Chart-oriented Representation Metric".- "Grands Modèles Linguistiques" (GMLs) est utilisé pour traduire "Large Language Models" (LLMs).