AGB-DE: Ein Korpus für die automatisierte rechtliche Bewertung von Klauseln in deutschen Verbraucherverträgen

Rechtliche Aufgaben und Datensätze werden häufig als Benchmarks für die Leistungsfähigkeit von Sprachmodellen verwendet. Allerdings sind offen zugängliche annotierte Datensätze selten. In dieser Arbeit stellen wir AGB-DE vor, ein Korpus mit 3.764 Klauseln aus deutschen Verbraucherverträgen, die von Rechtsexperten annotiert und rechtlich bewertet wurden. Neben den Daten präsentieren wir eine erste Baseline für die Aufgabe der Erkennung potenziell unwirksamer Klauseln, wobei wir die Leistung eines SVM-Baselines mit drei feinjustierten offenen Sprachmodellen sowie der Leistung von GPT-3.5 vergleichen. Unsere Ergebnisse zeigen die herausfordernde Natur der Aufgabe, da kein Ansatz einen F1-Score von 0,54 überschreitet. Obwohl die feinjustierten Modelle oft in Bezug auf Präzision bessere Ergebnisse erzielten, übertraf GPT-3.5 die anderen Ansätze hinsichtlich des Recall-Werts. Eine Analyse der Fehler deutet darauf hin, dass eine der Hauptausforderungen die korrekte Interpretation komplexer Klauseln sein könnte, anstatt die Entscheidungsgrenzen zwischen Erlaubtem und Nicht-Erlaubtem zu definieren.注释：- "AGB-DE" 是一个专有名词，表示 "Allgemeine Geschäftsbedingungen - Deutsch"（德国消费者合同条款）。- "SVM" (Support Vector Machine) 翻译为 "SVM"，因为这是在德语中广泛使用的术语。- "F1-Score" 翻译为 "F1-Score"，因为这也是德语中常用的术语。- "Recall-Wert" 翻译为 "Recall-Wert"，以保持专业性。