Command Palette
Search for a command to run...
Auto-Lambda: Entkoppelung dynamischer Aufgabenbeziehungen
Auto-Lambda: Entkoppelung dynamischer Aufgabenbeziehungen
Shikun Liu Stephen James Andrew J. Davison Edward Johns
Zusammenfassung
Das Verständnis der Struktur mehrerer verwandter Aufgaben ermöglicht es, durch Multi-Task-Learning die Generalisierungsfähigkeit einer oder aller Aufgaben zu verbessern. Allerdings erfordert dies normalerweise die gemeinsame Trainingsdurchführung jeder Paarbildung von Aufgaben, um Aufgabenbeziehungen zu erfassen, was mit einem extrem hohen Rechenaufwand verbunden ist. In dieser Arbeit lernen wir Aufgabenbeziehungen mittels eines automatisierten Gewichtungsrahmens namens Auto-Lambda. Im Gegensatz zu früheren Ansätzen, bei denen Aufgabenbeziehungen als fest angenommen werden, ist Auto-Lambda ein gradientenbasierter Meta-Learning-Rahmen, der kontinuierliche, dynamische Aufgabenbeziehungen durch aufgabenbezogene Gewichtungen erforscht und beliebige Kombinationen von Aufgaben durch die Formulierung einer Meta-Verlustfunktion optimieren kann; wobei der Validierungsverlust automatisch während des Trainings die Aufgaben-Gewichtungen beeinflusst. Wir wenden den vorgeschlagenen Rahmen sowohl auf Multi-Task- als auch auf Hilfsaufgaben in der Computer Vision und Robotik an und zeigen, dass Auto-Lambda eine state-of-the-art-Leistung erzielt, selbst im Vergleich zu Optimierungsstrategien, die speziell für jeweils eine Aufgabe und Datenumgebung entwickelt wurden. Schließlich beobachten wir, dass Auto-Lambda interessante Lernverhaltensweisen entdecken kann, was zu neuen Erkenntnissen im Bereich des Multi-Task-Learnings führt. Der Quellcode ist unter https://github.com/lorenmt/auto-lambda verfügbar.