Bayessche Unsicherheit für die Gradientenaggregation im Multi-Task-Lernen

Mit der zunehmenden Bedeutung von maschinellem Lernen steigt die Nachfrage nach der gleichzeitigen Ausführung mehrerer Inferenzaufgaben. Die Durchführung einer dedizierten Modell für jede Aufgabe ist rechenintensiv, weshalb großes Interesse an Multi-Task-Learning (MTL) besteht. MTL zielt darauf ab, ein einzelnes Modell zu lernen, das mehrere Aufgaben effizient löst. Die Optimierung von MTL-Modellen erfolgt häufig durch die Berechnung eines einzelnen Gradienten pro Aufgabe und anschließende Aggregation dieser Gradienten zur Bestimmung einer kombinierten Aktualisierungsrichtung. Diese Ansätze berücksichtigen jedoch eine wichtige Aspekt nicht: die Sensitivität in den Gradienten-Dimensionen. Hier stellen wir einen neuartigen Ansatz zur Gradientenaggregation mittels Bayes’scher Inferenz vor. Wir definieren eine Wahrscheinlichkeitsverteilung über die aufgabenspezifischen Parameter, was wiederum eine Verteilung über die Gradienten der Aufgaben induziert. Diese zusätzliche informative Struktur ermöglicht es uns, die Unsicherheit in jeder Dimension der Gradienten zu quantifizieren, die dann bei der Aggregation berücksichtigt werden kann. Wir demonstrieren empirisch die Vorteile unseres Ansatzes an einer Vielzahl von Datensätzen und erreichen dabei state-of-the-art-Leistung.