Hopular : Réseaux de Hopfield modernes pour des données tabulaires

Bien que l’apprentissage profond excelle sur des données structurées telles que celles rencontrées en vision par ordinateur et en traitement du langage naturel, il n’a pas répondu aux attentes sur les données tabulaires. Pour ces dernières, les méthodes les plus performantes restent les Machines à vecteurs de support (SVM), les Forêts aléatoires et surtout le Gradient Boosting, qui se distingue nettement. Récemment, une série de méthodes d’apprentissage profond spécifiquement conçues pour les données tabulaires ont émergé, mais elles demeurent inférieures au Gradient Boosting sur des jeux de données de petite taille. Nous proposons « Hopular », une nouvelle architecture d’apprentissage profond adaptée aux jeux de données de taille moyenne et petite, dans laquelle chaque couche est équipée de réseaux de Hopfield modernes continus. Ces réseaux de Hopfield modernes utilisent les données stockées pour identifier les dépendances entre caractéristiques, entre caractéristiques et cible, ainsi que les dépendances entre échantillons. L’originalité de Hopular réside dans le fait que chaque couche peut accéder directement à l’entrée d’origine ainsi qu’à l’ensemble d’entraînement complet via les données stockées dans les réseaux de Hopfield. Ainsi, Hopular peut mettre à jour de manière itérative, couche par couche, son modèle actuel et la prédiction résultante, de façon similaire aux algorithmes d’apprentissage itératif classiques. Sur des expériences menées sur des jeux de données tabulaires de petite taille (moins de 1 000 échantillons), Hopular dépasse non seulement le Gradient Boosting, les Forêts aléatoires et les SVM, mais aussi plusieurs méthodes d’apprentissage profond récentes. Sur des jeux de données de taille moyenne (environ 10 000 échantillons), Hopular surpasse XGBoost, CatBoost, LightGBM ainsi qu’une méthode d’apprentissage profond d’état de l’art conçue spécifiquement pour les données tabulaires. Par conséquent, Hopular constitue une alternative solide à ces approches sur les données tabulaires.