La tâche de réponse aux questions sur les graphiques (Chart Question Answering, CQA) est utilisée pour évaluer la compréhension des graphiques, ce qui est fondamentalement différent de la compréhension des images naturelles. Le CQA nécessite d'analyser les relations entre les composantes textuelles et visuelles d'un graphique afin de répondre à des questions générales ou d'inférer des valeurs numériques. La plupart des ensembles de données et modèles existants en CQA reposent sur des hypothèses simplificatrices qui permettent souvent de surpasser les performances humaines. Dans cette étude, nous abordons ce résultat et proposons un nouveau modèle qui apprend conjointement la classification et la régression. Notre configuration langage-vision utilise des transformateurs à co-attention pour capturer les interactions complexes du monde réel entre la question et les éléments textuels. Nous validons notre conception par des expérimentations approfondies sur l'ensemble de données PlotQA réaliste, surpassant largement les approches précédentes tout en montrant une performance compétitive sur FigureQA. Notre modèle est particulièrement adapté aux questions réalistes avec des réponses hors vocabulaire qui nécessitent une régression.