Pattern-Structure Diffusion für Multi-Task Learning

Angeregt durch die Beobachtung, dass Musterstrukturen innerhalb einer Aufgabe häufig auftreten und darüber hinaus auch zwischen Aufgaben rekurrent sind, schlagen wir einen Pattern-Structure Diffusion (PSD)-Framework vor, um aufgabenbezogene und zwischen Aufgaben übertragbare Musterstrukturen im Aufgabenraum zu erkennen und zu propagieren, um gemeinsam Tiefenschätzung, Segmentierung und Oberflächennormalvorhersage zu verbessern. Um lokale Musterstrukturen zu repräsentieren, modellieren wir diese als kleine Graphlets und propagieren sie auf zwei verschiedene Weisen, nämlich intra-task und inter-task PSD. Bei der intra-task PSD überwinden wir die Beschränkung der Lokalität von Musterstrukturen durch die Anwendung einer hochwertigen rekursiven Aggregation über Nachbarn, die den Ausbreitungsraum multiplikativ vergrößert, sodass auch langstreckige Muster im intra-task-Raum propagiert werden können. Im inter-task PSD übertragen wir die entsprechenden Strukturen, die denselben räumlichen Positionen entsprechen, gegenseitig in die jeweilige Aufgabe, basierend auf der Übereinstimmungsqualität der Paarungen von Musterstrukturen. Schließlich werden die intra-task- und inter-task-Musterstrukturen gemeinsam innerhalb der Aufgabenraum-Muster diffundiert und in ein end-to-end PSD-Netzwerk integriert, um die Leistung des Multi-Task-Lernens zu steigern. Umfangreiche Experimente auf zwei weit verbreiteten Benchmarks zeigen, dass unser vorgeschlagener PSD-Frame­work effektiver ist und sowohl state-of-the-art als auch konkurrenzfähige Ergebnisse erzielt.