Plugin-Netzwerke für Inferenz bei teilweise vorhandenen Beweisen

In dieser Arbeit schlagen wir eine neuartige Methode vor, um partielle Beweise in die Inferenz von tiefen Faltungsnetzen zu integrieren. Im Gegensatz zu den bestehenden, hoch effektiven Methoden, die entweder die Eingabe des Netzes iterativ modifizieren oder externe Label-Taxonomien nutzen, um partielle Beweise zu berücksichtigen, fügen wir separate Netzmodule („Plugin-Netze“) zu den Zwischenschichten eines vortrainierten Faltungsnetzes hinzu. Das Ziel dieser Module besteht darin, zusätzliche Signale, d.h. Informationen über bekannte Labels, in das Inferenzverfahren einzubeziehen und den vorhergesagten Output entsprechend anzupassen. Da die angehängten Plugins eine einfache Struktur aufweisen, die nur aus vollständig verbundenen Schichten besteht, konnten wir die Rechenkosten für Training und Inferenz erheblich reduzieren. Gleichzeitig ermöglicht die vorgeschlagene Architektur es, Informationen über bekannte Labels direkt zu den Zwischenschichten weiterzuleiten, um die endgültige Darstellung zu verbessern. Eine umfangreiche Evaluierung der vorgeschlagenen Methode bestätigt, dass unsere Plugin-Netze in verschiedenen Aufgabenstellungen den Stand der Technik übertreffen, einschließlich Szenenkategorisierung, Multi-Label-Bildannotierung und semantischer Segmentierung.