Kontextbewusste Mehrpfad-Netzwerke

Das Erstellen eines einzelnen Netzwerks, das effektiv verschiedene Kontexte abdeckt – die Variationen innerhalb eines Datensatzes oder mehrerer Datensätze zu lernen – ist ein faszinierender Schritt auf dem Weg zur allgemeinen Intelligenz. Bestehende Ansätze, wie das Vertiefen, Verbreitern und Zusammenfügen von Netzwerken, sind im Allgemeinen nicht kostenwirksam. In diesem Zusammenhang sind Netzwerke effektiv, die Ressourcen gemäß dem Kontext der Eingabe zuordnen und den Informationsfluss durch das Netzwerk regulieren können. In dieser Arbeit stellen wir das Context-Aware Multipath Network (CAMNet) vor, ein Multi-Path-Neuronales Netzwerk mit datenabhängiger Routing zwischen parallelen Tensoren. Wir zeigen, dass unser Modell als generalisiertes Modell fungiert, das Variationen in einzelnen Datensätzen sowie in mehreren verschiedenen Datensätzen sowohl simultan als auch sequentiell erfasst. CAMNet übertrifft die Leistung bei Klassifikations- und Pixelbeschriftungsaufgaben im Vergleich zu äquivalenten Single-Path-, Multi-Path- und tieferen Single-Path-Netzwerken, wenn man die Datensätze einzeln, sequentiell und kombiniert betrachtet. Das datenabhängige Routing zwischen den Tensoren in CAMNet ermöglicht es dem Modell, den Informationsfluss von Anfang bis Ende zu steuern und zu entscheiden, welche Ressourcen gemeinsam genutzt oder domänenspezifisch verwendet werden sollen.