Probabilistische tiefe ordinales Regressionsmodell basierend auf Gaussischen Prozessen

Mit einer hervorragenden Approximationskapazität für komplexe Daten sind tiefen neuronale Netzwerke (DNNs) derzeit die führende Herangehensweise für das Problem der ordinalen Regression, bei dem Instanzen in ordinal skalierte Kategorien klassifiziert werden sollen. Allerdings sind DNNs nicht in der Lage, Unsicherheiten zu erfassen und probabilistische Interpretationen zu liefern. Gaussian Processes (GPs), als probabilistisches Modell, hingegen bieten eine natürliche Darstellung von Unsicherheiten, weisen jedoch eine geringe Skalierbarkeit für große Datensätze auf. In diesem Artikel wird eine traditionelle GP-Regression für das Problem der ordinalen Regression adaptiert, indem sowohl konjugierte als auch nicht-konjugierte ordinalen Likelihood-Funktionen verwendet werden. Auf dieser Grundlage wird ein tiefes neuronales Netzwerk vorgeschlagen, das eine GP-Schicht auf der Spitze aufweist und sowohl die Parameter des neuronalen Netzes als auch die GP-Parameter mittels stochastischem Gradientenabstieg end-to-end trainiert wird. Die Parameter in der ordinalen Likelihood-Funktion werden dabei als Teil der neuronalen Netzwerk-Parameter gelernt, sodass der vorgeschlagene Ansatz in der Lage ist, an die Trainingsdaten angepasste Likelihood-Funktionen zu erzeugen und für Testpunkte probabilistische Vorhersagen zu liefern. Experimentelle Ergebnisse auf drei realen Benchmark-Datensätzen – Bildästhetik-Bewertung, historische Bildbewertung und Altersgruppen-Schätzung – zeigen, dass der vorgeschlagene Ansatz hinsichtlich des mittleren absoluten Fehlers die derzeit besten Ansätze für die ordinale Regression übertrifft und gleichzeitig eine Zuverlässigkeit der Vorhersagen bereitstellt.