Dynamische Filternetze

In einem traditionellen Faltungs-layer bleiben die gelernten Filter nach dem Training fixiert. Im Gegensatz dazu stellen wir ein neues Framework vor, das Dynamic Filter Network, bei dem die Filter dynamisch und abhängig von der Eingabe generiert werden. Wir zeigen, dass diese Architektur eine leistungsstarke ist, mit erhöhter Flexibilität dank ihrer adaptiven Natur, ohne jedoch eine übermäßige Erhöhung der Anzahl der Modellparameter. Eine Vielzahl von Filteroperationen kann auf diese Weise gelernt werden, darunter lokale räumliche Transformationen, aber auch andere wie selektive (Ent-)Verwischung oder adaptive Merkmalsextraktion. Zudem können mehrere solche Layer kombiniert werden, z.B. in einer rekurrenten Architektur. Wir demonstrieren die Effektivität des Dynamic Filter Networks an den Aufgaben der Video- und Stereo-Prediction und erreichen den Stand der Technik auf dem Moving MNIST-Datensatz mit einem viel kleineren Modell. Durch die Visualisierung der gelernten Filter illustrieren wir, dass das Netzwerk Flussinformationen erfasst hat, indem es nur unbeschriftete Trainingsdaten betrachtet hat. Dies deutet darauf hin, dass das Netzwerk zur Vortraining von Netzen für verschiedene überwachte Aufgaben auf nichtüberwachte Weise eingesetzt werden kann, wie zum Beispiel optischen Fluss und Tiefenschätzung.