Mehrziel-Lernen als Mehrziel-Optimierung

Im Bereich des Multi-Task-Learnings werden mehrere Aufgaben gemeinsam gelöst, wobei zwischen ihnen ein induktiver Bias geteilt wird. Das Multi-Task-Learning ist intrinsisch ein Problem mit mehreren Zielfunktionen, da verschiedene Aufgaben möglicherweise in Konflikt geraten und daher eine Abwägung erforderlich ist. Ein üblicher Kompromiss besteht darin, ein Proxy-Ziel zu optimieren, das eine gewichtete lineare Kombination der pro-Aufgabe Verluste minimiert. Dieser Ansatz ist jedoch nur gültig, wenn die Aufgaben nicht miteinander konkurrieren, was selten der Fall ist. In dieser Arbeit formulieren wir das Multi-Task-Learning explizit als Multi-Objektiv-Optimierung, wobei das übergeordnete Ziel darin besteht, eine Pareto-optimalen Lösung zu finden. Zu diesem Zweck verwenden wir Algorithmen aus der Literatur zur gradientbasierten Multi-Objektiv-Optimierung. Diese Algorithmen sind jedoch nicht direkt auf große Lernprobleme anwendbar, da sie sich schlecht mit der Dimensionalität der Gradienten und der Anzahl der Aufgaben skalieren. Wir schlagen daher eine obere Schranke für den Multi-Objektiv-Verlust vor und zeigen, dass sie effizient optimiert werden kann. Wir beweisen ferner, dass die Optimierung dieser oberen Schranke unter realistischen Annahmen zu einer Pareto-optimalen Lösung führt. Wir wenden unsere Methode auf eine Vielzahl von Multi-Task-Tiefenlernproblemen an, darunter Ziffernerkennung, Szeneverstehen (gemeinsame semantische Segmentierung, Instanzsegmentierung und Tiefenschätzung) sowie Mehrfachetikettierung. Unsere Methode erzeugt leistungsfähigere Modelle als jüngste Formulierungen des Multi-Task-Learnings oder das pro-Aufgabe Training.请注意，这里“法语”应该是“德语”的误写，因此我按照德语进行了翻译。如果有任何其他要求或需要进一步调整的地方，请告知。