MTI-Net: Multi-Scale Task Interaction Networks for Multi-Task Learning

In diesem Paper argumentieren wir für die Bedeutung der Berücksichtigung von Aufgabenwechselwirkungen auf mehreren Skalen beim Ableiten von Aufgabeninformationen in einer Multi-Task-Lernumgebung. Im Gegensatz zur gängigen Annahme zeigen wir, dass Aufgaben, die auf einer bestimmten Skala eine hohe Affinität aufweisen, nicht zwangsläufig dieses Verhalten auf anderen Skalen beibehalten, und umgekehrt. Wir stellen eine neuartige Architektur namens MTI-Net vor, die auf diesem Befund in drei Aspekten aufbaut. Erstens modelliert sie explizit Aufgabenwechselwirkungen auf jeder Skala mittels einer mehrskaligen, multimodalen Ableitungseinheit. Zweitens propagiert sie die abgeleiteten Aufgabeninformationen von niedrigeren zu höheren Skalen über ein Merkmalspropagationsmodul. Drittens aggregiert sie die verfeinerten Aufgabenmerkmale aus allen Skalen mittels einer Merkmalsaggregationseinheit, um schließlich die finalen pro-Aufgaben-Vorhersagen zu erzeugen.Ausführliche Experimente auf zwei Multi-Task-Dichte-Markierungs-Datensätzen zeigen, dass unser Multi-Task-Modell im Gegensatz zu vorherigen Ansätzen das volle Potenzial des Multi-Task-Lernens ausschöpft, nämlich geringeren Speicherbedarf, reduzierte Anzahl an Berechnungen sowie eine bessere Leistung im Vergleich zum Einzel-Aufgaben-Lernen. Der Quellcode ist öffentlich verfügbar: https://github.com/SimonVandenhende/Multi-Task-Learning-PyTorch.