Faktorisierbares Netz: Ein effizientes, auf Teilgraphen basierendes Framework für die Generierung von Szenengraphen

Die Generierung von Szenengraphen zur Beschreibung aller Beziehungen innerhalb eines Bildes gewinnt in den letzten Jahren zunehmend an Interesse. Allerdings verwenden die meisten bisherigen Methoden komplizierte Strukturen mit langsamer Inferenzgeschwindigkeit oder hängen von externen Daten ab, was die Anwendung des Modells in realen Szenarien einschränkt. Um die Effizienz der Szenengraphenerzeugung zu verbessern, schlagen wir einen subgraph-basierten Verbindungsgraphen vor, um den Szenengraphen während der Inferenz präzise darzustellen. Zunächst wird eine bottom-up Clustermethode verwendet, um den gesamten Szenengraphen in Subgraphen zu faktorisieren, wobei jeder Subgraph mehrere Objekte und einen Teil ihrer Beziehungen enthält. Durch das Ersetzen der zahlreichen Beziehungsdarstellungen des Szenengraphen durch weniger Subgraph- und Objektmerkmale wird die Berechnung im Zwischenschritt erheblich reduziert. Darüber hinaus werden räumliche Informationen durch die Subgraph-Merkmale aufrechterhalten, die von unserer vorgeschlagenen Spatial-weighted Message Passing (SMP)-Struktur und dem Spatial-sensitive Relation Inference (SRI)-Modul genutzt werden, um die Beziehungsidentifikation zu erleichtern. Bei den jüngsten Visual Relationship Detection- und Visual Genome-Datensätzen übertrifft unsere Methode sowohl in Genauigkeit als auch in Geschwindigkeit den aktuellen Stand der Technik.