Nichtparametrische Unimodalitätsbedingungen für die ordinale Klassifizierung mit tiefen neuronalen Netzen

Wir schlagen eine neue formulierung der restringierten Optimierung für tiefes ordinale Klassifizierung vor, bei der die Unimodalität der Labelverteilung implizit durch eine Reihe von Ungleichungsrestriktionen über alle benachbarten Labelpaare erzwungen wird. Aufbauend auf (c-1) Restriktionen für c Labels ist unser Modell nichtparametrisch und daher flexibler als bestehende Techniken für tiefes ordinale Klassifizierung. Im Gegensatz zu diesen Methoden legt es keine einzige spezifische parametrische Modellstruktur (oder Straffunktion) auf alle Labels fest. Dadurch ermöglicht es das Training, größere Lösungsräume zu erkunden, während gleichzeitig die Notwendigkeit für ad-hoc-Wahlmöglichkeiten und die Skalierbarkeit auf große Anzahlen von Labels reduziert wird. Es kann in Verbindung mit jedem Standard-Klassifikationsverlust und jeder tiefen Architektur verwendet werden.Um das daraus resultierende anspruchsvolle Optimierungsproblem zu lösen, verwenden wir eine Folge von unbeschränkten Verlustfunktionen basierend auf einer leistungsstarken Erweiterung der Log-Barrier-Methode. Diese Methode behandelt effektiv konkurrierende Restriktionen und ermöglicht die Anwendung des Standard-Stochastic Gradient Descent (SGD) für tiefe Netze, wobei sie computationally teure Lagrange-Dualschritte vermeidet und erheblich besser als Strafmethoden abschneidet. Darüber hinaus schlagen wir ein neues Leistungsmessverfahren für ordinale Klassifizierung vor, das als Proxy zur Messung der Verteilungsunimodalität dient und als Seitenordnungsindex (Sides Order Index, SOI) bezeichnet wird.Wir berichten umfassende Evaluierungen und Vergleiche mit den neuesten Methoden anhand etablierter öffentlicher Datensätze für verschiedene ordinale Klassifizierungsaufgaben, wodurch die Vorzüge unseres Ansatzes in Bezug auf Labelkonsistenz, Klassifikationsgenauigkeit und Skalierbarkeit gezeigt werden. Von Bedeutung ist dabei, dass die Erzwingung der Labelkonsistenz mit unserem Modell keine höheren Klassifikationsfehler verursacht, im Gegensatz zu vielen bestehenden Methoden für ordinale Klassifizierung. Eine öffentlich zugängliche reproduzierbare PyTorch-Implementierung wird bereitgestellt.(https://github.com/sbelharbi/unimodal-prob-deep-oc-free-distribution)