Muster-affinitätige Propagation über Tiefen, Oberflächennormalen und semantische Segmentierung

In dieser Arbeit schlagen wir einen neuen Rahmen für die Pattern-Affinitive Propagation (PAP) vor, um Tiefe, Oberflächennormalen und semantische Segmentierung gleichzeitig vorherzusagen. Die Motivation hierfür stammt aus der statistischen Beobachtung, dass pattern-affinitive Paare sowohl über verschiedene Aufgaben hinweg als auch innerhalb einer Aufgabe häufig wiederkehren. Daher können wir zwei Arten von Propagationen durchführen: Cross-Task-Propagation und task-spezifische Propagation, um diese ähnlichen Muster adaptiv zu verbreiten. Die erste integriert cross-task-affinitäre Muster durch die Berechnung nicht-lokaler Beziehungen, um sich auf jede Aufgabe darin anzupassen. Anschließend führt die zweite eine iterative Diffusion im Merkmalsraum durch, sodass die cross-task-affinitären Muster innerhalb der Aufgabe weit verbreitet werden können. Dadurch kann das Lernen jeder Aufgabe durch die komplementären aufgabenbezogenen Affinitäten reguliert und verbessert werden. Ausführliche Experimente zeigen die Effektivität und Überlegenheit unserer Methode bei den drei gemeinsamen Aufgaben. Gleichzeitig erzielen wir den aktuellen Stand der Technik oder wettbewerbsfähige Ergebnisse auf den drei verwandten Datensätzen NYUD-v2, SUN-RGBD und KITTI.