Überblick über die SV-Ident 2022 Shared Task zur Identifikation von Umfragevariablen in sozialwissenschaftlichen Publikationen

In dieser Arbeit geben wir einen Überblick über die SV-Ident Shared Task im Rahmen des 3. Workshops zur Verarbeitung wissenschaftlicher Dokumente (SDP) bei COLING 2022. Im Shared Task wurden den Teilnehmern ein Satz und ein Wortschatz von Variablen zur Verfügung gestellt, und sie wurden gebeten, zu identifizieren, welche Variablen, falls vorhanden, in einzelnen Sätzen aus vollständigen Texten wissenschaftlicher Dokumente erwähnt werden. Zwei Teams legten insgesamt neun Einreichungen für das Leaderboard der Shared Task vor. Obwohl keines der Teams die Baseline-Systeme verbessern konnte, ziehen wir dennoch Erkenntnisse aus ihren Einreichungen. Darüber hinaus stellen wir eine detaillierte Evaluation bereit. Daten und Baseline-Systeme für unsere Shared Task sind frei verfügbar unter https://github.com/vadis-project/sv-ident.