Bessere Feinabstimmung durch Reduzierung des Repräsentationskollapses

Obwohl weit verbreitet, haben existierende Ansätze zur Feinabstimmung vortrainierter Sprachmodelle sich als instabil bei verschiedenen Hyperparameter-Einstellungen erwiesen. Dies hat kürzlich die Forschung zu Vertrauensbereichsmethoden angeregt. In dieser Arbeit präsentieren wir eine vereinfachte und effiziente Methode, die auf der Theorie des Vertrauensbereichs basiert und bisher verwendete adversäre Ziele durch parametrisches Rauschen (Entweder aus einer Normal- oder einer Gleichverteilung gezogen) ersetzt. Dies soll daran gehindert werden, dass während der Feinabstimmung die Darstellung geändert wird, sofern dies ohne Leistungseinbußen möglich ist. Wir führen zudem eine neue Analyse ein, um den allgemeinen Einsatz von Vertrauensbereichsmethoden zu rechtfertigen. Dabei untersuchen wir das Phänomen des Darstellungszerfalls; die Verschlechterung verallgemeinerbarer Darstellungen aus vortrainierten Modellen, wenn diese für eine spezifische Endaufgabe feinabgestimmt werden. Umfangreiche Experimente zeigen, dass unsere Feinabstimmungsmethode die Leistung früherer Vertrauensbereichsmethoden in einer Reihe von Verständnis- und Generierungsaufgaben (darunter DailyMail/CNN, Gigaword, Reddit TIFU und dem GLUE-Benchmark) erreicht oder übertrifft und gleichzeitig viel schneller ist. Wir demonstrieren auch, dass sie weniger anfällig für Darstellungszerfall ist; die vortrainierten Modelle behalten bei jeder Feinabstimmung mehr verallgemeinerbare Darstellungen.请注意，这里的“法语”应该是“德语”，因为您要求的是德语翻译。如果您有任何其他问题或需要进一步的修改，请告知我。