HyperAIHyperAI

Command Palette

Search for a command to run...

Bayessche Unsicherheit für die Gradientenaggregation im Multi-Task-Lernen

Idan Achituve Idit Diamant Arnon Netzer Gal Chechik Ethan Fetaya

Zusammenfassung

Mit der zunehmenden Bedeutung von maschinellem Lernen steigt die Nachfrage nach der gleichzeitigen Ausführung mehrerer Inferenzaufgaben. Die Durchführung einer dedizierten Modell für jede Aufgabe ist rechenintensiv, weshalb großes Interesse an Multi-Task-Learning (MTL) besteht. MTL zielt darauf ab, ein einzelnes Modell zu lernen, das mehrere Aufgaben effizient löst. Die Optimierung von MTL-Modellen erfolgt häufig durch die Berechnung eines einzelnen Gradienten pro Aufgabe und anschließende Aggregation dieser Gradienten zur Bestimmung einer kombinierten Aktualisierungsrichtung. Diese Ansätze berücksichtigen jedoch eine wichtige Aspekt nicht: die Sensitivität in den Gradienten-Dimensionen. Hier stellen wir einen neuartigen Ansatz zur Gradientenaggregation mittels Bayes’scher Inferenz vor. Wir definieren eine Wahrscheinlichkeitsverteilung über die aufgabenspezifischen Parameter, was wiederum eine Verteilung über die Gradienten der Aufgaben induziert. Diese zusätzliche informative Struktur ermöglicht es uns, die Unsicherheit in jeder Dimension der Gradienten zu quantifizieren, die dann bei der Aggregation berücksichtigt werden kann. Wir demonstrieren empirisch die Vorteile unseres Ansatzes an einer Vielzahl von Datensätzen und erreichen dabei state-of-the-art-Leistung.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp