Rep-MTL: Die Kraft der Darstellungsebene der Aufgabenrelevanz für Multi-Task Learning

Trotz der Versprechen der Multi-Task-Lernmethoden, bei denen ergänzende Kenntnisse über verschiedene Aufgaben hinweg genutzt werden können, bleiben bestehende Techniken zur Multi-Task-Optimierung (MTO) weiterhin auf Konfliktlösung durch optimiererzentrierte Verlustskalierung und Gradientenmanipulation fokussiert, wodurch jedoch konsistente Verbesserungen nicht erzielt werden. In dieser Arbeit argumentieren wir, dass der geteilte Repräsentationsraum, in dem sich Aufgabeninteraktionen natürlicherweise abspielen, reiche Informationen und Potenzial für Operationen bietet, die ergänzend zu bestehenden Optimierern sind, insbesondere für die Förderung der intertask-ergänzenden Eigenschaften, die in der MTO selten untersucht werden. Diese Intuition führt zu Rep-MTL, das die Aufgabensalienz auf Repräsentationsebene nutzt, um die Wechselwirkungen zwischen task-spezifischer Optimierung und gemeinsamer Repräsentationslernprozessen zu quantifizieren. Durch die Steuerung dieser Salienzen mittels entropy-basiertem Strafterm und sample-wise cross-task Alignment zielt Rep-MTL darauf ab, negative Transfer durch die Aufrechterhaltung der effektiven Aufgabenlernprozesse zu reduzieren, anstatt sich rein auf Konfliktlösung zu konzentrieren, während gleichzeitig explizit ergänzende Informationsweitergabe gefördert wird. Experimente wurden auf vier anspruchsvollen MTL-Benchmarks durchgeführt, die sowohl task-shift- als auch domain-shift-Szenarien abdecken. Die Ergebnisse zeigen, dass Rep-MTL selbst in Kombination mit der grundlegenden Gleichgewichtspolitik gute Leistungsverbesserungen mit günstiger Effizienz erzielt. Neben den üblichen Leistungsmetriken belegt die Analyse des Power-Law-Exponenten die Effektivität von Rep-MTL bei der Balance zwischen task-spezifischem Lernen und intertask-ergänzender Informationsteilung. Die Projektseite ist unter HERE verfügbar.