Die unvernünftige Wirksamkeit der Baseline: Diskussion von SVMs bei der rechtlichen Textklassifikation

Wir möchten einen interessanten Trend hervorheben, um zum anhaltenden Diskurs über Fortschritte im Bereich der rechtlichen Natural Language Processing (NLP) beizutragen. In letzter Zeit hat sich der Fokus der meisten Aufgaben zur Klassifikation rechtlicher Texte auf große vortrainierte Deep-Learning-Modelle wie BERT verlagert. In diesem Artikel zeigen wir, dass ein eher traditioneller Ansatz basierend auf Support Vector Machine (SVM)-Klassifikatoren auf den Klassifikationsaufgaben des LexGLUE-Benchmarks überraschend wettbewerbsfähige Leistung erzielt, die mit Modellen auf Basis von BERT vergleichbar ist. Zudem weisen wir darauf hin, dass die Fehlerreduktion, die durch den Einsatz spezialisierter BERT-basierter Modelle gegenüber Baseline-Modellen erreicht wird, im rechtlichen Bereich im Vergleich zu allgemeinen Sprachaufgaben deutlich geringer ausfällt. Wir präsentieren und diskutieren drei Hypothesen als mögliche Erklärungen für diese Ergebnisse, um zukünftige Diskussionen zu unterstützen.