Bedingte temporale neuronale Prozesse mit Kovarianzverlust

Wir führen eine neuartige Verlustfunktion, die Covariance Loss, ein, die konzeptionell äquivalent zu bedingten neuronalen Prozessen ist und eine Regularisierungsform aufweist, die ihre Anwendbarkeit auf eine Vielzahl unterschiedlicher neuronalen Netzwerke ermöglicht. Mit der vorgeschlagenen Verlustfunktion werden Abbildungen von Eingabeparametern auf Zielvariablen stark durch die Abhängigkeiten der Zielvariablen sowie durch den Mittelwert der Aktivierungen und die mittleren Abhängigkeiten der Eingabe- und Zielvariablen beeinflusst. Diese Eigenschaft ermöglicht es den resultierenden neuronalen Netzwerken, robuster gegenüber verrauschten Beobachtungen zu werden und fehlende Abhängigkeiten aus vorheriger Information wiederherzustellen. Um die Gültigkeit der vorgeschlagenen Verlustfunktion zu belegen, führen wir umfangreiche Experimente auf realen Datensätzen mit modernsten Modellen durch und diskutieren die Vor- und Nachteile der vorgeschlagenen Covariance Loss.