LexGLUE: Ein Benchmark-Datensatz für die rechtliche Sprachverstehens in Englisch

Gesetze und ihre Auslegung, rechtliche Argumente sowie Vereinbarungen werden typischerweise schriftlich formuliert, was die Entstehung umfangreicher Korpora rechtlicher Texte zur Folge hat. Ihre Analyse, die im Zentrum der juristischen Praxis steht, wird umso komplexer, je größer diese Sammlungen werden. Natürliche-Sprache-Verständnis-(NLU)-Technologien können juristischen Fachleuten bei diesen Aufgaben wertvolle Unterstützung bieten. Ihre Nützlichkeit hängt jedoch maßgeblich davon ab, ob aktuelle State-of-the-art-Modelle über verschiedene Aufgaben im rechtlichen Bereich hinweg generalisieren können. Um diese bisher offene Frage zu beantworten, führen wir die Benchmark „Legal General Language Understanding Evaluation (LexGLUE)“ ein – eine Sammlung von Datensätzen zur standardisierten Bewertung der Leistungsfähigkeit von Modellen in einer Vielzahl rechtlicher NLU-Aufgaben. Zudem präsentieren wir eine Evaluierung und Analyse mehrerer allgemeiner sowie rechtsspezifischer Modelle, die zeigen, dass letztere konsistent bessere Leistungen über mehrere Aufgaben hinweg erzielen.