Les GAN Sont Des Milliers De Lignes, Mais La Sécurité Est La Plus Importante
Par Super Neuro
Les réseaux neuronaux antagonistes génératifs (GAN) sont la clé de la prochaine étape du développement du Deep Learning (ML) et ils offrent de grandes perspectives d’application dans de nombreux domaines.
Mais la prospérité des GAN doit encore surmonter les deux montagnes du matériel et du framework.
Quoi? GAN
Pour le développement des GAN, une stratégie envisageable serait peut-être d’occuper d’abord le marché des images et des vidéos, puis de se tourner vers d’autres domaines. Par exemple, des ensembles de données simulés peuvent être utilisés pour des applications HPC (High Performance Computer Cluster).
Cependant, on ne sait pas encore quand le développement coordonné des infrastructures et des logiciels sera en mesure de s’adapter à davantage d’applications. Néanmoins, le rôle et l’influence des GAN sont suffisamment remarquables pour accomplir un travail ciblé et préparer la prochaine étape de l’IA.
Certaines personnes qui ne sont pas familières avec ce domaine peuvent se demander pourquoi nous devrions étudier les GAN alors qu’il existe déjà de nombreuses méthodes ML matures ?
En fait, les GAN ont obtenu des résultats qui surpassent les méthodes simples de reconnaissance et de classification, qui génèrent des sorties basées sur des références ou des échantillons, et les résultats sont extraordinaires.
Fonctionnellement, les GAN sont très similaires aux autres réseaux neuronaux convolutifs. Le calcul principal du discriminateur dans un GAN est similaire à celui d'un classificateur d'images de base, tandis que le générateur est similaire à un réseau neuronal convolutif qui produit du contenu.
Le GAN est composé de deux réseaux d'apprentissage profond : un réseau générateur et un réseau discriminateur, qui sont en fait des concepts existants dans le ML, mais ils fonctionnent ensemble d'une nouvelle manière, ce qui constitue également l'unicité des GAN.
Lorsqu'il travaille avec des graphiques, le générateur prend un ensemble de données et essaie de le convertir en image, par exemple, il synthétise une image à partir des données, puis la transmet au discriminateur, qui prend une décision pour distinguer si l'image est « réelle » ou « fausse ».
Le générateur apprend les faiblesses du discriminateur à partir de ses commentaires, et les deux obtiennent de meilleurs résultats dans le jeu entre eux. Cependant, cette approche rend les calculs nécessaires à la formation plus complexes et se heurte également à de nouvelles difficultés.
Difficultés avec les GAN
Les GAN ont des performances impressionnantes, mais il n’est pas facile de les exploiter pleinement. Par exemple, vous pouvez être confronté à un effondrement de mode, ce qui entraînera une instabilité dans le processus de formation et de rétroaction.
Un autre problème courant est qu’un réseau, lors d’une confrontation, écrase l’autre. Par exemple, le générateur produit des images que le discriminateur ne peut pas distinguer. Dans ce cas, le générateur ne peut pas obtenir un bon retour et ne peut pas apprendre efficacement.
Heureusement, le problème de la lutte contre le déséquilibre peut être réglé à temps, mais les exigences élevées en matière de matériel ne sont pas si faciles à gérer.
La formation d'un réseau neuronal simple nécessite une certaine puissance de calcul, les GAN exercent donc une pression sur le système, notamment en termes de besoins en mémoire.
Il est difficile de réaliser ce type de travail sur une machine avec seulement un CPU, et pour utiliser un GPU, nous devons faire face au problème des ressources limitées dans la réalité.
« Les GAN nécessitent davantage de puissance de calcul, et l’infrastructure rattrape son retard », a déclaré Bryan Catanzaro, vice-président du ML appliqué chez Nvidia. « Vous avez besoin d'un débit de données plus important lorsque vous utilisez des GAN, car ces modèles peuvent être très volumineux et comporter de nombreux paramètres. La formation nécessite donc beaucoup de puissance de calcul et de mémoire. »
« De nombreux GAN que nous entraînons sont limités en mémoire, et même l'entraînement de modèles avec une taille de lot d'un ou deux remplira toute la mémoire du GPU car les modèles sont généralement très volumineux. »
Les bons GAN ont besoin de bonnes selles
Catanzaro a ajouté : « Construire un système plus grand peut être utile pour l'entraînement, et il est également judicieux de répartir les lots sur plusieurs GPU. Mais cela nécessite une interconnexion GPU puissante, comme NVlink, utilisée pour les GAN vidéo sur DGX-1. »
À cet égard, leurs travaux sur la génération de vidéos interactives pour les jeux démontrent les excellentes performances des GAN, qui peuvent générer dynamiquement des environnements en temps quasi réel.
Il a également mentionné le DGX-2 : « Une fois prêt, il accélérera notre travail. »
Pour les travaux de Nvidia sur la synthèse vidéo utilisant des GAN, le problème de l’exécution de grands modèles sur des GPU est particulièrement important.
« Nous nous soucions des problèmes graphiques et souhaitons les utiliser pour générer des jeux vidéo comme un meilleur moyen de créer du contenu, où vous pouvez facilement créer des mondes virtuels en vous entraînant sur des vidéos du monde réel. »
Mais ce processus est également complexe, surtout pour les GAN vidéo, car il ne s'agit pas seulement de générer l'image actuelle, mais aussi une série d'images associées. Cela nécessite une mémoire et des performances de calcul accrues.
Par exemple, nous avons récemment parlé du potentiel des GAN dans la découverte de médicaments. Il a été constaté qu’en plus du réseau antagoniste, des composants d’apprentissage par renforcement et un retour d’information discriminateur étaient également nécessaires, ce qui augmentait les exigences en matière d’infrastructure.
La startup pharmaceutique Insilico Medicine a obtenu un certain succès en utilisant des clusters GPU hautes performances pour adapter ses modèles au système, mais pour aller plus loin, elle a encore besoin de plus de puissance de calcul, de plus de mémoire et d'une meilleure bande passante mémoire.
L'avenir des GAN
« Les GAN de toute taille pourraient être utilisés dans des contextes académiques, techniques ou d'entreprise au-delà de la génération d'images et de vidéos, mais les limitations matérielles et logicielles doivent être prises en compte avant que des cas d'utilisation généralisés ne soient possibles, et nous n'en sommes qu'au début », a déclaré Catanzaro.
« Il y a eu des tentatives d'utilisation des GAN dans d'autres domaines, comme les applications texte et audio, mais les résultats n'ont pas été aussi bons que pour les images et les vidéos. »
Cela montre simplement qu’il est difficile de prouver ce qui fonctionne avant de l’essayer.
« Les GAN ont connu jusqu’à présent beaucoup de succès dans le domaine de la vision, c’est pourquoi ils ont pris le dessus dans l’imagerie médicale », a ajouté Catanzaro.
Bien qu’il soit espéré que davantage d’entreprises puissent explorer un large éventail d’espaces d’application au-delà des images et des vidéos dans les jeux ou la génération de contenu, les deux côtés de cette plateforme ont besoin de conditions plus matures.
Il semble y avoir de nouvelles idées et avancées dans la recherche sur les GAN chaque jour, mais le manque d'applications pouvant fonctionner efficacement sur le matériel crée une situation ingrate.
Cependant, comme le montre le développement de l’IA, l’optimisation et l’ajustement continus pourraient amener des technologies lointaines dans notre champ de vision à court terme.
Il est temps de passer au GAN
Nvidia est à la tête de certains travaux révolutionnaires sur les GAN puisque les GPU sont la plate-forme de formation dominante, ce qui constitue une tâche de formation difficile, même avec leurs meilleurs systèmes DGX.
Il n’est pas difficile de prédire que dans le futur du graphisme et du jeu, Nvidia, avec ses fortes capacités, pourrait changer les règles du jeu.
Mais en voyant les GPU passer des appareils de jeu grand public aux accélérateurs de puissance pour superordinateurs, nous pouvons peut-être apprendre que nous ne devrions pas sous-estimer une technologie dans la recherche simplement parce qu'elle apporte une bonne expérience de jeu.
Dans l’ensemble, au cours de la nouvelle année, en plus de la création de vidéos et d’images, j’espère voir l’application des GAN dans davantage de domaines.
Mais lorsque vous utilisez des GAN, vous devrez peut-être d’abord vous équiper d’un environnement matériel suffisant. Et bien, sans plus tarder, allons au GAN ! Bonne chance!
