HyperAIHyperAI

Command Palette

Search for a command to run...

Auto-Lambda: Entkoppelung dynamischer Aufgabenbeziehungen

Shikun Liu Stephen James Andrew J. Davison Edward Johns

Zusammenfassung

Das Verständnis der Struktur mehrerer verwandter Aufgaben ermöglicht es, durch Multi-Task-Learning die Generalisierungsfähigkeit einer oder aller Aufgaben zu verbessern. Allerdings erfordert dies normalerweise die gemeinsame Trainingsdurchführung jeder Paarbildung von Aufgaben, um Aufgabenbeziehungen zu erfassen, was mit einem extrem hohen Rechenaufwand verbunden ist. In dieser Arbeit lernen wir Aufgabenbeziehungen mittels eines automatisierten Gewichtungsrahmens namens Auto-Lambda. Im Gegensatz zu früheren Ansätzen, bei denen Aufgabenbeziehungen als fest angenommen werden, ist Auto-Lambda ein gradientenbasierter Meta-Learning-Rahmen, der kontinuierliche, dynamische Aufgabenbeziehungen durch aufgabenbezogene Gewichtungen erforscht und beliebige Kombinationen von Aufgaben durch die Formulierung einer Meta-Verlustfunktion optimieren kann; wobei der Validierungsverlust automatisch während des Trainings die Aufgaben-Gewichtungen beeinflusst. Wir wenden den vorgeschlagenen Rahmen sowohl auf Multi-Task- als auch auf Hilfsaufgaben in der Computer Vision und Robotik an und zeigen, dass Auto-Lambda eine state-of-the-art-Leistung erzielt, selbst im Vergleich zu Optimierungsstrategien, die speziell für jeweils eine Aufgabe und Datenumgebung entwickelt wurden. Schließlich beobachten wir, dass Auto-Lambda interessante Lernverhaltensweisen entdecken kann, was zu neuen Erkenntnissen im Bereich des Multi-Task-Learnings führt. Der Quellcode ist unter https://github.com/lorenmt/auto-lambda verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp