Régression à noyau de sortie esquissée en profondeur pour la prédiction structurée

En exploitant la technique du noyau dans l'espace de sortie, les pertes induites par le noyau offrent une méthode rigoureuse pour définir des tâches de prédiction de sortie structurée pour une grande variété de modalités de sortie. En particulier, elles ont été utilisées avec succès dans le contexte de la régression non paramétrique par substitution, où la technique du noyau est généralement également exploitée dans l'espace d'entrée. Cependant, lorsque les entrées sont des images ou des textes, des modèles plus expressifs comme les réseaux neuronaux profonds semblent plus adaptés que les méthodes non paramétriques. Dans ce travail, nous abordons la question de savoir comment entraîner des réseaux neuronaux pour résoudre des tâches de prédiction de sortie structurée tout en bénéficiant de la polyvalence et de la pertinence des pertes induites par le noyau. Nous concevons une nouvelle famille d'architectures neuronales profondes, dont la dernière couche prédit dans un sous-espace fini et dépendant des données de l'espace de caractéristiques infini en sortie issu de la perte induite par le noyau. Ce sous-espace est choisi comme étant engendré par les fonctions propres d'une version approximée aléatoirement de l'opérateur de covariance empirique du noyau. De manière intéressante, cette approche permet l'utilisation d'algorithmes de descente de gradient (et donc de toute architecture neuronale) pour la prédiction structurée. Des expériences sur des tâches synthétiques ainsi que sur des problèmes réels de prédiction supervisée de graphes montrent la pertinence de notre méthode.