Vertragsentdeckung: Datensatz und ein Few-Shot-Semantische-Recherche-Herausforderung mit wettbewerbsfähigen Baselines

Wir schlagen einen neuen gemeinsamen Wettbewerb zur semantischen Suche in Rechtsdokumenten vor, bei dem eine sogenannte Vertragsentdeckung durchgeführt werden soll, bei der rechtliche Klauseln aus Dokumenten extrahiert werden, ausgehend von einigen Beispielen ähnlicher Klauseln aus anderen Rechtsakten. Dieser Aufgabenstellung entspricht erheblich von herkömmlichen NLI-Aufgaben und bisherigen gemeinsamen Aufgaben im Bereich der Rechtsinformationsextraktion (beispielsweise muss statt eines einzelnen Dokuments, einer Seite oder eines Absatzes ein Textabschnitt identifiziert werden). Anschließend wird die Spezifikation der vorgeschlagenen Aufgabe durch eine Bewertung mehrerer Lösungsansätze innerhalb eines einheitlichen Rahmens für diese Methodenklasse ergänzt. Es zeigt sich, dass state-of-the-art vortrainierte Encoder bei der vorgeschlagenen Aufgabe keine zufriedenstellenden Ergebnisse liefern. Im Gegensatz dazu erzielen auf Sprachmodellen basierende Ansätze bessere Leistungen, insbesondere wenn unsupervisiertes Feintuning angewandt wird. Neben Ablationsstudien werden auch Fragen zur Detektionsgenauigkeit relevanter Textfragmente in Abhängigkeit von der Anzahl verfügbarer Beispiele untersucht. Neben dem Datensatz und den Referenzergebnissen werden Sprachmodelle, die speziell für den rechtlichen Bereich optimiert sind, öffentlich zugänglich gemacht.