Chart Question Answering (CQA) ist eine Aufgabe, die zur Bewertung der Chart-Interpretation verwendet wird und grundlegend von der Verständnis von natürlichen Bildern abweicht. CQA erfordert die Analyse der Beziehungen zwischen den textuellen und visuellen Komponenten eines Charts, um allgemeine Fragen zu beantworten oder numerische Werte abzuleiten. Die meisten existierenden CQA-Datensätze und -Modelle basieren auf vereinfachenden Annahmen, die oft es ermöglichen, menschliche Leistung zu übertreffen. In dieser Arbeit adressieren wir dieses Ergebnis und schlagen ein neues Modell vor, das Klassifizierung und Regression gemeinsam lernt. Unser Sprache-Bild-Ansatz verwendet Co-Attention-Transformer, um die komplexen realweltlichen Interaktionen zwischen Frage und textuellen Elementen zu erfassen. Wir validieren unser Design durch umfangreiche Experimente auf dem realistischen PlotQA-Datensatz, wobei wir frühere Ansätze deutlich übertrumpfen, während wir gleichzeitig wettbewerbsfähige Leistungen auf FigureQA zeigen. Unser Modell eignet sich insbesondere gut für realistische Fragen mit Answers outside of vocabulary (Außer-Vokabular-Antworten), die Regression erfordern.