NODIS: Neural Ordinary Differential Scene Understanding

Semantische Bildverstehens ist eine herausfordernde Aufgabe im Bereich der Computer Vision. Es erfordert nicht nur die Detektion aller Objekte in einem Bild, sondern auch die Identifizierung aller Beziehungen zwischen diesen Objekten. Die detektierten Objekte, ihre Labels sowie die entdeckten Beziehungen können verwendet werden, um einen Szenengraphen zu konstruieren, der eine abstrakte semantische Interpretation des Bildes bereitstellt. In früheren Arbeiten wurden Beziehungen durch die Lösung eines Zuordnungsproblems identifiziert, das als gemischt-ganzzahliges lineares Programm formuliert wurde. In dieser Arbeit deuten wir diese Formulierung als gewöhnliche Differentialgleichung (ODE) auf. Der vorgeschlagene Architekturansatz führt die Szenengraphen-Inferenz durch die Lösung einer neuronalen Variante einer ODE mittels end-to-end Lernverfahren durch. Die Methode erreicht state-of-the-art Ergebnisse auf allen drei Benchmark-Aufgaben: Szenengraphen-Generierung (SGGen), Klassifikation (SGCls) und visuelle Beziehungserkennung (PredCls) auf dem Visual Genome Benchmark.