HyperAIHyperAI

Command Palette

Search for a command to run...

Hopular : Réseaux de Hopfield modernes pour des données tabulaires

Bernhard Schäfl Lukas Gruber Angela Bitto-Nemling Sepp Hochreiter

Résumé

Bien que l’apprentissage profond excelle sur des données structurées telles que celles rencontrées en vision par ordinateur et en traitement du langage naturel, il n’a pas répondu aux attentes sur les données tabulaires. Pour ces dernières, les méthodes les plus performantes restent les Machines à vecteurs de support (SVM), les Forêts aléatoires et surtout le Gradient Boosting, qui se distingue nettement. Récemment, une série de méthodes d’apprentissage profond spécifiquement conçues pour les données tabulaires ont émergé, mais elles demeurent inférieures au Gradient Boosting sur des jeux de données de petite taille. Nous proposons « Hopular », une nouvelle architecture d’apprentissage profond adaptée aux jeux de données de taille moyenne et petite, dans laquelle chaque couche est équipée de réseaux de Hopfield modernes continus. Ces réseaux de Hopfield modernes utilisent les données stockées pour identifier les dépendances entre caractéristiques, entre caractéristiques et cible, ainsi que les dépendances entre échantillons. L’originalité de Hopular réside dans le fait que chaque couche peut accéder directement à l’entrée d’origine ainsi qu’à l’ensemble d’entraînement complet via les données stockées dans les réseaux de Hopfield. Ainsi, Hopular peut mettre à jour de manière itérative, couche par couche, son modèle actuel et la prédiction résultante, de façon similaire aux algorithmes d’apprentissage itératif classiques. Sur des expériences menées sur des jeux de données tabulaires de petite taille (moins de 1 000 échantillons), Hopular dépasse non seulement le Gradient Boosting, les Forêts aléatoires et les SVM, mais aussi plusieurs méthodes d’apprentissage profond récentes. Sur des jeux de données de taille moyenne (environ 10 000 échantillons), Hopular surpasse XGBoost, CatBoost, LightGBM ainsi qu’une méthode d’apprentissage profond d’état de l’art conçue spécifiquement pour les données tabulaires. Par conséquent, Hopular constitue une alternative solide à ces approches sur les données tabulaires.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp