SMART: Robuste und effiziente Feinjustierung für vortrainierte natürliche Sprachmodelle durch fundierte regularisierte Optimierung

Transfer Learning hat die Landschaft der Forschung im Bereich der natürlichen Sprachverarbeitung (Natural Language Processing, NLP) grundlegend verändert. Viele aktuelle state-of-the-art-Modelle werden zunächst auf einer großen Textkorpus vortrainiert und anschließend auf abgeleitete Aufgaben feinjustiert. Aufgrund begrenzter Datenressourcen bei diesen abgeleiteten Aufgaben und der äußerst großen Kapazität vortrainierter Modelle führt eine aggressive Feinjustierung häufig dazu, dass das angepasste Modell überanpasst (overfitting) und dabei das Wissen des vortrainierten Modells vergisst. Um dieses Problem auf eine konsistenter und prinzipienbasierte Weise anzugehen, schlagen wir einen neuen rechnerischen Rahmen für robuster und effizienter Feinjustierung von vortrainierten Sprachmodellen vor. Insbesondere umfasst unser vorgeschlagener Rahmen zwei zentrale Komponenten: 1. Glättungs-induzierende Regularisierung, die die Kapazität des Modells effektiv steuert; 2. Bregman-Proximal-Punkt-Optimierung, eine Klasse von Trust-Region-Methoden, die das Vergessen von Wissen verhindern kann. Unsere Experimente zeigen, dass unsere vorgeschlagene Methode auf mehreren NLP-Benchmarks die derzeit beste Leistung erzielt.