HyperAIHyperAI

Command Palette

Search for a command to run...

Rep-MTL: Die Kraft der Darstellungsebene der Aufgabenrelevanz für Multi-Task Learning

Zedong Wang Siyuan Li Dan Xu

Zusammenfassung

Trotz der Versprechen der Multi-Task-Lernmethoden, bei denen ergänzende Kenntnisse über verschiedene Aufgaben hinweg genutzt werden können, bleiben bestehende Techniken zur Multi-Task-Optimierung (MTO) weiterhin auf Konfliktlösung durch optimiererzentrierte Verlustskalierung und Gradientenmanipulation fokussiert, wodurch jedoch konsistente Verbesserungen nicht erzielt werden. In dieser Arbeit argumentieren wir, dass der geteilte Repräsentationsraum, in dem sich Aufgabeninteraktionen natürlicherweise abspielen, reiche Informationen und Potenzial für Operationen bietet, die ergänzend zu bestehenden Optimierern sind, insbesondere für die Förderung der intertask-ergänzenden Eigenschaften, die in der MTO selten untersucht werden. Diese Intuition führt zu Rep-MTL, das die Aufgabensalienz auf Repräsentationsebene nutzt, um die Wechselwirkungen zwischen task-spezifischer Optimierung und gemeinsamer Repräsentationslernprozessen zu quantifizieren. Durch die Steuerung dieser Salienzen mittels entropy-basiertem Strafterm und sample-wise cross-task Alignment zielt Rep-MTL darauf ab, negative Transfer durch die Aufrechterhaltung der effektiven Aufgabenlernprozesse zu reduzieren, anstatt sich rein auf Konfliktlösung zu konzentrieren, während gleichzeitig explizit ergänzende Informationsweitergabe gefördert wird. Experimente wurden auf vier anspruchsvollen MTL-Benchmarks durchgeführt, die sowohl task-shift- als auch domain-shift-Szenarien abdecken. Die Ergebnisse zeigen, dass Rep-MTL selbst in Kombination mit der grundlegenden Gleichgewichtspolitik gute Leistungsverbesserungen mit günstiger Effizienz erzielt. Neben den üblichen Leistungsmetriken belegt die Analyse des Power-Law-Exponenten die Effektivität von Rep-MTL bei der Balance zwischen task-spezifischem Lernen und intertask-ergänzender Informationsteilung. Die Projektseite ist unter HERE verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp