Aufnahme vorheriger Kenntnisse in neuronale Netze mittels eines impliziten zusammengesetzten Kernels

Es ist herausfordernd, das Lernen von neuronalen Netzen (NN) mit vorhergehender Wissensbasis zu steuern. Im Gegensatz dazu lassen sich viele bekannte Eigenschaften, wie räumliche Glätte oder Saisonalität, durch die Wahl eines geeigneten Kernels in einem Gauss-Prozess (GP) leicht modellieren. Viele Anwendungen des tiefen Lernens könnten durch die Modellierung solcher bekannter Eigenschaften verbessert werden. Beispielsweise werden konvolutionale neuronale Netze (CNN) häufig in der Fernerkundung eingesetzt, die starke saisonale Effekte aufweist. Wir schlagen vor, die Stärken des tiefen Lernens mit den klaren Modellierungsmöglichkeiten von GPs durch die Verwendung eines zusammengesetzten Kernels zu kombinieren, der einen Kernel implizit durch ein neuronales Netz definiert und einen zweiten Kernel-Funktion enthält, der zur Modellierung bekannter Eigenschaften (z. B. Saisonalität) ausgewählt wird. Wir realisieren diese Idee, indem wir ein tiefes Netzwerk mit einer effizienten Abbildung basierend auf der Nystrom-Näherung verbinden, die wir Implicit Composite Kernel (ICK) nennen. Anschließend verwenden wir einen Ansatz „Sample-then-Optimize“, um die vollständige GP-A-posteriori-Verteilung zu approximieren. Wir zeigen, dass ICK sowohl auf synthetischen als auch auf realen Datensätzen eine überlegene Leistung und Flexibilität aufweist. Wir sind überzeugt, dass der ICK-Framework in vielen Anwendungen genutzt werden kann, um vorhergehendes Wissen in neuronale Netze einzubinden.