Ein Datensatz zur Analyse komplexer Dokumentenanordnungen in den Digital Humanities und dessen Evaluation mit Krippendorffs Alpha

Wir stellen eine neue Forschungsressource in Form eines hochwertigen, domänenspezifischen Datensatzes zur Analyse der Dokumentenlayoutstruktur historischer Dokumente vor. Der Datensatz liefert eine Ground-Truth-Instanzsegmentierung mit 19 Klassen, die auf historischen Layoutstrukturen basieren und sich ableiten aus (a) dem Produktionsprozess von Publikationen und den jeweiligen Genres (Lebenswissenschaften, Architektur, Kunst, Kunsthandwerk usw.) sowie (b) aus ausgewählten Textregistern (z. B. Monografie, Fachzeitschrift, illustrierte Zeitschrift). Insgesamt enthält der Datensatz mehr als 52.000 von Experten annotierte Instanzen. Als Baseline wurde das etablierte Mask R-CNN-Modell getestet und mit dem state-of-the-art-Modell VSR verglichen. Inspiriert durch Evaluationspraktiken aus dem Bereich der Natural Language Processing (NLP) haben wir eine neue Methode zur Bewertung der Annotationstrennschärfe entwickelt. Diese Methode basiert auf dem Krippendorff’schen Alpha (K-α), einer Statistik zur Quantifizierung der sogenannten „Inter-Annotator-Agreement“. Insbesondere schlagen wir eine Anpassung von K-α vor, die Annotationen als mehrteiligen Graphen modelliert, um die Übereinstimmung einer variablen Anzahl von Annotatoren zu bewerten. Die Methode ist hinsichtlich der Evaluierungsstrengheit anpassbar und kann sowohl in 2D als auch in 3D sowie für eine Vielzahl von Aufgaben wie semantische Segmentierung, Instanzsegmentierung und Segmentierung von 3D-Punktwolken eingesetzt werden.