Forscher verwenden Abbildungen, um reichhaltige und komplexe Informationen in wissenschaftlichen Arbeiten zu vermitteln. Die Beschriftungen dieser Abbildungen sind entscheidend für die effektive Übermittlung von Botschaften. Allerdings treten häufig minderwertige Abbildungsbeschriftungen in wissenschaftlichen Artikeln auf und können das Verständnis beeinträchtigen. In diesem Beitrag stellen wir einen end-to-end-neuralen Rahmenwerk vor, das automatisch informative und hochwertige Beschriftungen für wissenschaftliche Abbildungen generiert. Dazu führen wir SCICAP ein, eine großskalige Abbildung-Beschriftung-Datenbank, die auf Computerwissenschafts-Arbeiten aus dem arXiv-Datenbestand zwischen 2010 und 2020 basiert. Nach der Vorverarbeitung – einschließlich Abbildungstyp-Klassifizierung, Sub-Abbildungserkennung, Text-Normalisierung und Auswahl von Beschriftungstexten – enthielt SCICAP mehr als zwei Millionen Abbildungen, die aus über 290.000 Publikationen extrahiert wurden. Anschließend etablierten wir Basismodelle zur Beschriftung von Graphik-Diagrammen, dem dominierenden (19,2 %) Abbildungstyp. Die experimentellen Ergebnisse zeigten sowohl erhebliche Potenziale als auch erhebliche Herausforderungen bei der automatischen Generierung von Beschriftungen für wissenschaftliche Abbildungen.