Hopular: Moderne Hopfield-Netze für tabellarische Daten

Während Deep Learning bei strukturierten Daten, wie sie beispielsweise in der Bildverarbeitung und der natürlichen Sprachverarbeitung auftreten, hervorragende Leistungen erbringt, hat es bei tabellarischen Daten seine Erwartungen nicht erfüllt. Für tabellarische Daten sind derzeit Support Vector Machines (SVMs), Random Forests und Gradient Boosting die leistungsstärksten Ansätze, wobei Gradient Boosting die führende Rolle einnimmt. Kürzlich hat sich eine Vielzahl von Deep-Learning-Methoden für tabellarische Daten entwickelt, die jedoch auf kleineren Datensätzen weiterhin unterhalb der Leistung von Gradient Boosting liegen. Wir stellen „Hopular“ vor, eine neuartige Deep-Learning-Architektur für mittel- und kleinskalige Datensätze, bei der jede Schicht mit kontinuierlichen modernen Hopfield-Netzen ausgestattet ist. Diese modernen Hopfield-Netze nutzen gespeicherte Daten, um Abhängigkeiten zwischen Merkmalen, zwischen Merkmalen und Zielvariablen sowie zwischen Beobachtungen zu erkennen. Der Innovationsgehalt von Hopular liegt darin, dass jede Schicht sowohl auf die ursprüngliche Eingabe als auch auf die gesamte Trainingsmenge über die in den Hopfield-Netzen gespeicherten Daten zugreifen kann. Dadurch kann Hopular schrittweise seinen aktuellen Modellzustand sowie die resultierende Vorhersage an jeder Schicht wie herkömmliche iterative Lernalgorithmen aktualisieren. In Experimenten an kleinskaligen tabellarischen Datensätzen mit weniger als 1.000 Proben übertrifft Hopular Gradient Boosting, Random Forests, SVMs sowie mehrere Deep-Learning-Methoden. Auf mittelgroßen tabellarischen Datensätzen mit etwa 10.000 Proben erreicht Hopular eine bessere Leistung als XGBoost, CatBoost, LightGBM und eine state-of-the-art Deep-Learning-Methode, die speziell für tabellarische Daten entwickelt wurde. Somit stellt Hopular eine starke Alternative zu diesen Ansätzen bei der Analyse tabellarischer Daten dar.