HyperAIHyperAI

Command Palette

Search for a command to run...

Aufgabenarithmetik im Tangentialraum: Verbesserte Bearbeitung vortrainierter Modelle

Guillermo Ortiz-Jimenez Alessandro Favero Pascal Frossard

Zusammenfassung

Task Arithmetic ist kürzlich als kosteneffiziente und skalierbare Methode zur direkten Bearbeitung vortrainierter Modelle im Gewichtsraum hervorgetreten: Durch Addition der feinabgestimmten Gewichte verschiedener Aufgaben kann die Leistung des Modells auf diesen Aufgaben verbessert werden, während die Subtraktion zu Aufgabenvergessen führt. Dennoch bleibt unser Verständnis der Wirksamkeit von Task Arithmetic und ihrer zugrundeliegenden Prinzipien begrenzt. Wir präsentieren eine umfassende Studie zu Task Arithmetic in visuell-sprachlichen Modellen und zeigen, dass die Gewichts-Entkoppelung der entscheidende Faktor ist, der deren Effektivität ermöglicht. Diese Eigenschaft entsteht während des Vortrainings und manifestiert sich darin, dass unterschiedliche Richtungen im Gewichtsraum jeweils getrennte, lokalisierte Regionen im Funktionsraum steuern, die den Aufgaben zugeordnet sind. Insbesondere zeigen wir, dass die lineare Approximation der Modelle im Tangentialraum während des Feinabstimmens die Gewichts-Entkoppelung verstärkt. Dies führt zu erheblichen Leistungsverbesserungen über mehrere Task-Arithmetic-Benchmarks und diverse Modelle hinweg. Aufbauend auf diesen Erkenntnissen liefern wir theoretische und empirische Analysen des Neural Tangent Kernel (NTK) dieser Modelle und stellen eine überzeugende Verbindung zwischen Task Arithmetic und der räumlichen Lokalisierung der Eigenfunktionen des NTK her. Insgesamt enthüllen unsere Ergebnisse neue Einsichten in die grundlegenden Mechanismen von Task Arithmetic und bieten einen zuverlässigeren und effektiveren Ansatz zur Bearbeitung vortrainierter Modelle durch NTK-Linearisierung.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Aufgabenarithmetik im Tangentialraum: Verbesserte Bearbeitung vortrainierter Modelle | Paper | HyperAI