Identifikation von Aufgaben, Datensätzen, Bewertungsmaßstäben und numerischen Punktzahlen für die Erstellung wissenschaftlicher Ranglisten

Während die rasche Einführung neuer Aufgaben und neuer Datensätze dazu beiträgt, die aktive Forschung innerhalb einer Gemeinschaft in interessante Richtungen zu fördern, wird es wahrscheinlich zunehmend schwieriger, die Fülle der Forschungsaktivitäten in verschiedenen Bereichen auf unterschiedlichen Datensätzen zu verfolgen. Die Gemeinschaft könnte von einem automatischen System profitieren, das wissenschaftliche Ergebnisse zusammenfasst, z.B. in Form eines Ranglistenvergleichs (Leaderboard). In dieser Arbeit erstellen wir zwei Datensätze und entwickeln ein Framework (TDMS-IE), das darauf abzielt, Aufgaben, Datensätze, Metriken und Scores automatisch aus NLP-Papieren zu extrahieren, um den automatischen Aufbau von Ranglisten zu ermöglichen. Experimente zeigen, dass unser Modell mehrere Baseline-Modelle deutlich übertrifft. Unser Modell stellt einen ersten Schritt in Richtung der automatischen Erstellung von Ranglisten dar, z.B. im Bereich der NLP.请注意，这里“TDMS-IE”是一个特定的框架名称，因此直接保留了英文原名。其他术语如“NLP”（自然语言处理）在德语中通常也使用英文缩写。