Mehraufgaben-Lernen als ein Verhandlungsspiel

Bei der Multi-Task-Lernmethode (MTL) wird ein gemeinsamer Modelltrainingsprozess durchgeführt, um gleichzeitig Vorhersagen für mehrere Aufgaben zu erzeugen. Die gemeinsame Optimierung senkt die Rechenkosten und verbessert die Dateneffizienz; dennoch führt die mögliche Konfliktdynamik der Gradienten verschiedener Aufgaben häufig dazu, dass das gemeinsame Modell schlechtere Leistung erzielt als seine einzelnen Einzelaufgaben-Entsprechungen. Eine verbreitete Methode zur Linderung dieses Problems besteht darin, die Aufgaben-Gradienten mittels einer bestimmten Heuristik zu einer gemeinsamen Aktualisierungsrichtung zu kombinieren. In diesem Artikel betrachten wir den Schritt der Gradientenkombination als ein Verhandlungsspiel, bei dem die Aufgaben eine Einigung über eine gemeinsame Richtung der Modellparameteranpassung erzielen. Unter bestimmten Annahmen besitzt dieses Verhandlungsproblem eine eindeutige Lösung, die als Nash-Verhandlungslösung bekannt ist. Wir schlagen vor, diese Lösung als eine fundierte, prinzipienbasierte Methode für das Multi-Task-Lernen zu nutzen. Wir stellen ein neues Optimierungsverfahren für MTL, namens Nash-MTL, vor und leiten theoretische Konvergenzgarantien dafür ab. Empirisch zeigen wir, dass Nash-MTL auf mehreren MTL-Benchmark-Datenbanken aus verschiedenen Domänen Ergebnisse auf dem Stand der Technik erreicht.