Aufgabenarithmetik im Tangentialraum: Verbesserte Bearbeitung vortrainierter Modelle

Task Arithmetic ist kürzlich als kosteneffiziente und skalierbare Methode zur direkten Bearbeitung vortrainierter Modelle im Gewichtsraum hervorgetreten: Durch Addition der feinabgestimmten Gewichte verschiedener Aufgaben kann die Leistung des Modells auf diesen Aufgaben verbessert werden, während die Subtraktion zu Aufgabenvergessen führt. Dennoch bleibt unser Verständnis der Wirksamkeit von Task Arithmetic und ihrer zugrundeliegenden Prinzipien begrenzt. Wir präsentieren eine umfassende Studie zu Task Arithmetic in visuell-sprachlichen Modellen und zeigen, dass die Gewichts-Entkoppelung der entscheidende Faktor ist, der deren Effektivität ermöglicht. Diese Eigenschaft entsteht während des Vortrainings und manifestiert sich darin, dass unterschiedliche Richtungen im Gewichtsraum jeweils getrennte, lokalisierte Regionen im Funktionsraum steuern, die den Aufgaben zugeordnet sind. Insbesondere zeigen wir, dass die lineare Approximation der Modelle im Tangentialraum während des Feinabstimmens die Gewichts-Entkoppelung verstärkt. Dies führt zu erheblichen Leistungsverbesserungen über mehrere Task-Arithmetic-Benchmarks und diverse Modelle hinweg. Aufbauend auf diesen Erkenntnissen liefern wir theoretische und empirische Analysen des Neural Tangent Kernel (NTK) dieser Modelle und stellen eine überzeugende Verbindung zwischen Task Arithmetic und der räumlichen Lokalisierung der Eigenfunktionen des NTK her. Insgesamt enthüllen unsere Ergebnisse neue Einsichten in die grundlegenden Mechanismen von Task Arithmetic und bieten einen zuverlässigeren und effektiveren Ansatz zur Bearbeitung vortrainierter Modelle durch NTK-Linearisierung.