HyperAIHyperAI

Command Palette

Search for a command to run...

Skalierbarer Transfer-Learning mit Expertenmodellen

Joan Puigcerver Carlos Riquelme Basil Mustafa Cedric Renggli André Susano Pinto Sylvain Gelly Daniel Keysers Neil Houlsby

Zusammenfassung

Die Übertragung vortrainierter Darstellungen kann die Stichprobeneffizienz verbessern und die rechnerischen Anforderungen für neue Aufgaben reduzieren. Allerdings sind die für die Übertragung verwendeten Darstellungen meist generisch und nicht an eine spezifische Verteilung nachgeschalteter Aufgaben angepasst. Wir untersuchen den Einsatz von Expertendarstellungen für die Übertragung mit einer einfachen, dennoch wirksamen Strategie. Wir trainieren eine Vielzahl von Experte durch Ausnutzung bestehender Labelstrukturen und verwenden kostengünstige, leicht berechenbare Leistungsproxy, um für jede Zielaufgabe den jeweils relevanten Experte auszuwählen. Diese Strategie skaliert den Übertragungsprozess auf neue Aufgaben, da während der Übertragung nicht erneut auf die vortrainierten Daten zugegriffen wird. Dadurch erfordert sie pro Zielaufgabe nur geringfügig zusätzlichen Rechenaufwand und führt im Vergleich zu konkurrierenden Ansätzen zu einer Beschleunigung um den Faktor 2 bis 3 Größenordnungen. Darüber hinaus stellen wir eine adapterbasierte Architektur vor, die es ermöglicht, viele Experte in einem einzigen Modell zu komprimieren. Wir evaluieren unseren Ansatz an zwei unterschiedlichen Datensätzen und zeigen, dass er in beiden Fällen über 20 verschiedene visuelle Aufgaben hinweg die Baseline-Methoden übertrifft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Skalierbarer Transfer-Learning mit Expertenmodellen | Paper | HyperAI