HyperAIHyperAI

Command Palette

Search for a command to run...

Mehraufgaben-Lernen als ein Verhandlungsspiel

Aviv Navon Aviv Shamsian Idan Achituve Haggai Maron Kenji Kawaguchi Gal Chechik Ethan Fetaya

Zusammenfassung

Bei der Multi-Task-Lernmethode (MTL) wird ein gemeinsamer Modelltrainingsprozess durchgeführt, um gleichzeitig Vorhersagen für mehrere Aufgaben zu erzeugen. Die gemeinsame Optimierung senkt die Rechenkosten und verbessert die Dateneffizienz; dennoch führt die mögliche Konfliktdynamik der Gradienten verschiedener Aufgaben häufig dazu, dass das gemeinsame Modell schlechtere Leistung erzielt als seine einzelnen Einzelaufgaben-Entsprechungen. Eine verbreitete Methode zur Linderung dieses Problems besteht darin, die Aufgaben-Gradienten mittels einer bestimmten Heuristik zu einer gemeinsamen Aktualisierungsrichtung zu kombinieren. In diesem Artikel betrachten wir den Schritt der Gradientenkombination als ein Verhandlungsspiel, bei dem die Aufgaben eine Einigung über eine gemeinsame Richtung der Modellparameteranpassung erzielen. Unter bestimmten Annahmen besitzt dieses Verhandlungsproblem eine eindeutige Lösung, die als Nash-Verhandlungslösung bekannt ist. Wir schlagen vor, diese Lösung als eine fundierte, prinzipienbasierte Methode für das Multi-Task-Lernen zu nutzen. Wir stellen ein neues Optimierungsverfahren für MTL, namens Nash-MTL, vor und leiten theoretische Konvergenzgarantien dafür ab. Empirisch zeigen wir, dass Nash-MTL auf mehreren MTL-Benchmark-Datenbanken aus verschiedenen Domänen Ergebnisse auf dem Stand der Technik erreicht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp