HyperAIHyperAI

Command Palette

Search for a command to run...

Réseaux neuronaux sans graphe : Enseigner de nouvelles astuces aux anciens MLP grâce à la distillation

Shichang Zhang Yozen Liu Yizhou Sun Neil Shah

Résumé

Les réseaux de neurones graphiques (GNN) sont largement utilisés dans l’apprentissage automatique sur graphes et ont démontré des performances remarquables sur de nombreuses tâches de classification de nœuds. Toutefois, leur adoption en production dans l’industrie reste limitée en raison de défis de scalabilité liés à leur dépendance aux données. En effet, l’inférence avec les GNN dépend des voisins situés à plusieurs sauts du nœud cible, et l’extraction de ces données entraîne une latence élevée, ce qui pénalise les applications sensibles à la latence. Les méthodes existantes d’accélération d’inférence, telles que la suppression de poids (pruning) ou la quantification, permettent de réduire le nombre d’opérations de multiplication-accumulation (MAC), mais leurs gains sont limités lorsque la dépendance aux données n’est pas résolue. À l’inverse, les perceptrons multicouches (MLP) ne présentent aucune dépendance graphique et peuvent inférer bien plus rapidement que les GNN, bien qu’ils soient généralement moins précis pour la classification de nœuds. Inspirés par ces forces et faiblesses complémentaires, nous combinons les GNN et les MLP via une distillation de connaissances (KD). Notre étude montre que la performance des MLP peut être significativement améliorée grâce à une distillation à partir de GNN. Nous appelons ces MLP distillés Graph-less Neural Networks (GLNN), car ils n’ont aucune dépendance aux graphes lors de l’inférence. Nous démontrons que les GLNN, tout en atteignant une précision compétitive, infèrent 146 à 273 fois plus vite que les GNN, et 14 à 27 fois plus vite que d’autres méthodes d’accélération. Dans un cadre de production incluant des prédictions transductives et inductives sur 7 jeux de données, les GLNN surpassent les MLP indépendants en précision de 12,36 % en moyenne, et atteignent la performance des GNN sur 6 des 7 jeux. Une analyse approfondie révèle les conditions et les raisons pour lesquelles les GLNN parviennent à atteindre une précision compétitive par rapport aux GNN, suggérant ainsi les GLNN comme une solution pratique pour les applications contraintes par la latence.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp