Processus neuronaux temporels conditionnels avec perte de covariance

Nous introduisons une nouvelle fonction de perte, appelée Covariance Loss, qui est conceptuellement équivalente aux processus neuronaux conditionnels et présente une forme de régularisation rendant son application possible dans de nombreux types de réseaux de neurones. Grâce à cette fonction de perte proposée, les applications des variables d’entrée vers les variables cibles sont fortement influencées par les dépendances entre les variables cibles, ainsi que par les activations moyennes et les dépendances moyennes des variables d’entrée et cibles. Cette propriété permet aux réseaux de neurones résultants de devenir plus robustes aux observations bruitées et de restaurer efficacement des dépendances manquantes à partir d’informations a priori. Afin de démontrer la validité de la fonction de perte proposée, nous menons des expérimentations approfondies sur des jeux de données réels en utilisant des modèles de pointe, et discutons des avantages ainsi que des limites de la Covariance Loss proposée.