Tiefe Sketch-Output-Kernregression für strukturierte Vorhersage

Durch die Nutzung des Kerntricks im Ausgaberaum bieten kernduzierte Verlustfunktionen eine fundierte Methode, strukturierte Ausgabevorhersageaufgaben für eine Vielzahl von Ausgabemodalitäten zu definieren. Insbesondere wurden sie erfolgreich im Kontext von Ersatzverfahren der nichtparametrischen Regression eingesetzt, bei denen der Kerntrick in der Regel auch im Eingaberaum genutzt wird. Allerdings scheinen bei Eingaben wie Bildern oder Texten expressivere Modelle wie tiefgreifende Neuronale Netze besser geeignet als nichtparametrische Methoden. In dieser Arbeit untersuchen wir die Frage, wie Neuronale Netze trainiert werden können, um strukturierte Ausgabevorhersageaufgaben zu lösen, während wir gleichzeitig von der Vielseitigkeit und Relevanz kernduzierter Verlustfunktionen profitieren. Wir entwerfen eine neue Familie tiefer neuronaler Architekturen, deren letzte Schicht in einem datenabhängigen endlichdimensionalen Unterraum des unendlichdimensionalen Ausgabe-Featuresraums vorhersagt, der aus dem kernduzierten Verlust abgeleitet ist. Dieser Unterraum wird als Spannungsbereich der Eigenfunktionen eines zufallsbasiert angenäherten empirischen Kernkovarianzoperators gewählt. Interessanterweise ermöglicht dieser Ansatz die Nutzung von Gradientenabstiegsalgorithmen (und damit auch jeder neuronalen Architektur) für strukturierte Vorhersage. Experimente mit synthetischen Aufgaben sowie mit realweltlichen überwachten Graphenvorhersageproblemen zeigen die Relevanz unserer Methode.