Une Avancée Majeure Dans Les Puces Optiques Domestiques ! L'équipe De Tsinghua Utilise Un Réseau Neuronal Pour Créer La Première Architecture De Formation Informatique Optique Intelligente Et Complète

Depuis 2012, la puissance de calcul requise pour la formation des modèles d’IA a doublé tous les 3 à 4 mois, et la puissance de calcul requise pour la formation des modèles d’IA a augmenté jusqu’à 10 fois chaque année. Cela représente un défi :Comment rendre l’IA plus rapide et plus efficace ? La réponse se trouve peut-être dans le monde de la lumière.

**Calcul optique,**Un domaine débordant de potentiel qui prétend exploiter la vitesse et les propriétés de la lumière pour apporter de nouveaux niveaux de vitesse et d’efficacité énergétique aux applications d’apprentissage automatique. Cependant, pour atteindre cet objectif, nous devons résoudre un problème difficile : comment entraîner efficacement ces modèles optiques. Dans le passé, les gens s’appuyaient sur des ordinateurs numériques pour simuler et former des systèmes optiques, mais les capacités des systèmes optiques étaient considérablement limitées en raison des modèles précis et des grandes quantités de données de formation requises pour les systèmes optiques. De plus, à mesure que la complexité du système augmente, ces modèles deviennent de plus en plus difficiles à construire et à maintenir.

Récemment,**L'équipe de recherche dirigée par l'académicien Dai Qionghai et le professeur Fang Lu de l'Université Tsinghua a saisi la symétrie de la propagation des photons, en assimilant la propagation vers l'avant et vers l'arrière dans l'entraînement du réseau neuronal à la propagation vers l'avant de la lumière, et a développé une méthode d'apprentissage en mode entièrement direct (FFM).**Grâce à l'apprentissage FFM, les chercheurs sont non seulement capables de former des réseaux neuronaux optiques profonds (ONN) avec des millions de paramètres, mais également d'obtenir une perception ultra-sensible et un traitement tout optique efficace, atténuant ainsi les limites de l'IA sur la modélisation des systèmes optiques.

La recherche, intitulée « Entraînement en mode entièrement direct pour les réseaux neuronaux optiques », a été publiée avec succès dans la revue de référence Nature.

Points saillants de la recherche :

* Permet une parallélisation efficace des opérations d'apprentissage automatique sur le terrain, atténuant ainsi les limites de la modélisation numérique

* Introduction de systèmes optiques de pointe pour une taille de réseau donnée, et l'apprentissage FFM a également montré que la formation des réseaux neuronaux optiques les plus profonds avec des millions de paramètres peut atteindre une précision comparable aux modèles idéaux

* L'apprentissage FFM facilite non seulement un processus d'apprentissage beaucoup plus rapide, mais peut également faire progresser le développement de réseaux neuronaux d'apprentissage profond, de perception supersensible et de photonique topologique.

Adresse du document :

https://doi.org/10.1038/s41586-024-07687-4

Le projet open source « awesome-ai4s » rassemble plus de 100 interprétations d'articles AI4S et fournit des ensembles de données et des outils massifs :

https://github.com/hyperai/awesome-ai4s

7 Agrégation de grands ensembles de données pour créer des champs d'entrée complexes avec une phase définie à zéro dans des expériences de classification multicouche

Au total, 7 ensembles de données ont été utilisés dans cette étude. Dans les expériences de classification multicouche, chaque échantillon a été utilisé pour créer un champ complexe d'entrée avec la phase définie sur zéro :

*** L'ensemble de données MNIST.**L'ensemble de données est une collection de chiffres manuscrits dans 10 catégories, composée de 60 000 échantillons d'entraînement et de 10 000 échantillons de test.

*** Ensemble de données Fashion-MNIST.**L'ensemble de données contient 10 catégories différentes de produits de mode et comprend également un ensemble d'entraînement de 60 000 échantillons et un ensemble de test de 10 000 échantillons.

*** Ensemble de données CIFAR-10.**Cet ensemble de données est un sous-ensemble de l'ensemble de données de 80 millions de petites images, contenant 50 000 images d'entraînement et 10 000 images de test.

*** Ensemble de données ImageNet.**L'ensemble de données est une base de données d'images composée d'une hiérarchie WordNet où chaque nœud est représenté par des centaines à des milliers d'images, avec un total de 120 millions d'images pour la formation et 50 000 pour les tests.

*** Ensemble de données MWD.**L'ensemble de données contient des images de 4 conditions météorologiques différentes de scènes extérieures (lever du soleil, ensoleillé, pluvieux et nuageux). Il contient un total de 1 125 échantillons, dont 800 sont utilisés pour la formation et 325 pour les tests.

*** Ensemble de données sur les fleurs d'iris.**L'ensemble de données comprend 3 espèces d'Iris, chacune avec 50 échantillons. Chaque exemple original de l’ensemble de données contient quatre entrées décrivant la forme d’une fleur d’iris. Dans l’expérience PIC, chaque entrée a été répliquée pour créer quatre points de données identiques, ce qui a donné un total de 16 canaux de données d’entrée.

*** Ensemble de données cibles Chromium.**L'ensemble de données est constitué de plaques de verre chromées avec différentes zones (réfléchissantes et semi-transparentes). Les zones réflexes représentaient les scènes physiques elles-mêmes (cibles des lettres T, H et U), et pendant l'entraînement, une seule zone réflexe a été utilisée et déplacée dans le même plan pour générer 9 scènes d'entraînement différentes.

Reparamétrer le système optique et construire un réseau neuronal photonique embarqué différentiable FFM

Traditionnellement, l'intelligence artificielle liée à l'optique est conçue via une modélisation et une optimisation hors ligne, comme le montre la figure a ci-dessous, ce qui entraîne une efficacité de conception et des performances du système limitées. De plus, afin de réaliser diverses fonctions, les systèmes optiques généraux utilisent la possibilité de réglage de l'indice de réfraction.**Le système optique est divisé en deux régions différentes : les régions de modulation (vert foncé) et les régions de propagation (vert clair).**Comme le montre la figure b ci-dessous.

L'étude a révélé que les systèmes optiques contrôlés par les équations de Maxwell peuvent être reparamétrés en réseaux neuronaux photoniques intégrés différentiables, et la formation à la descente de gradient des réseaux neuronaux a été un facteur clé de leur développement. donc,**Le principe d’apprentissage automatique de FFM dans cette étude est illustré dans la figure c ci-dessous.**Étant donné que certaines parties du système optique peuvent être cartographiées dans un réseau neuronal et connectées aux neurones, un réseau neuronal différentiable sur site peut être construit entre l'entrée et la sortie.

Ensuite, l’étude a exploité la réciprocité de symétrie spatiale, la propagation physique directe partagée et la mesure des données et des calculs d’erreur, et a calculé les gradients sur site pour mettre à jour l’indice de réfraction dans la zone de conception (zones supérieure droite et inférieure gauche de la figure c). Grâce à la descente de gradient sur site, le système optique converge progressivement (zone inférieure droite de la figure c).

En formant un réseau neuronal optique monocouche pour la classification d'objets, l'apprentissage FFM atteint une précision comparable au modèle idéal

Pour démontrer l'efficacité de l'apprentissage FFM, l'étude a d'abord formé un réseau neuronal optique monocouche pour la classification d'objets à l'aide d'un ensemble de données de référence, puis a montré le processus d'auto-formation du réseau neuronal optique dans l'espace libre profond à l'aide de l'apprentissage FFM dans la figure 1a, et a visualisé ses résultats de formation sur l'ensemble de données MNIST dans la figure 1b.

Comme le montre la figure c ci-dessous,**L'indice de similarité structurelle (SSIM) entre les champs lumineux expérimentaux et théoriques dépasse 0,97.**Cela indique un niveau élevé de similitude. Dans la figure d ci-dessous, l’étude a analysé plus en détail l’utilisation de réseaux neuronaux optiques multicouches pour la classification de l’ensemble de données Fashion-MNIST. En augmentant progressivement le nombre de couches de 2 à 8, l'étude a révélé qu'en utilisant l'apprentissage FFM,Les performances du réseau neuronal peuvent être améliorées à 86,5%, 91,0%, 92,3% et 92,5%, ce qui est proche de la précision théorique de la simulation informatique.

Sur la base des résultats ci-dessus, cette étude a également proposé un apprentissage FFM non linéaire, comme illustré dans la figure f ci-dessous. Lors de la propagation des données, les sorties sont activées de manière non linéaire avant d'entrer dans la couche suivante, de sorte que les entrées de l'activation non linéaire peuvent être enregistrées et les gradients pertinents peuvent être calculés. Étant donné que seule la propagation vers l'avant est requise, le paradigme d'entraînement non linéaire proposé par FFM est applicable aux fonctions non linéaires généralement mesurables et est donc applicable aux réseaux neuronaux optiques non linéaires optoélectroniques et entièrement optiques. Non seulement cela,**La précision de classification du réseau neuronal optique non linéaire est passée de 90,4% à 93,0%.**Comme le montre la figure g ci-dessous.

L'apprentissage FFM simplifie la conception de systèmes photoniques complexes, permettant la reconstruction de scènes entièrement optiques et l'analyse d'objets cachés dynamiquement

L'étude a également révélé que**L'apprentissage FFM surmonte les limitations imposées par la modélisation numérique hors ligne et simplifie la conception de systèmes photoniques complexes.**Par exemple, l’étude montre un système d’imagerie par diffusion à balayage ponctuel dans les figures a et b ci-dessous, respectivement, et analyse diverses méthodes d’optimisation avancées utilisant l’optimisation par essaim de particules (PSO). Les résultats montrent que l'apprentissage FFM basé sur le gradient présente une efficacité supérieure, convergeant après 25 itérations de conception dans les deux expériences avec des valeurs de perte de convergence de 1,84 et 2,07 dans les deux types de diffusion, respectivement. En revanche, la méthode PSO nécessite au moins 400 itérations de conception pour converger, avec des valeurs de perte finales de 2,01 et 2,15.

Comme le montre la figure c ci-dessous, l’étude a analysé l’évolution de l’auto-conception du FFM, montrant que le profil d’intensité initialement distribué de manière aléatoire converge progressivement vers un point serré. Dans la figure d ci-dessous, l'étude a comparé plus en détail les mesures de largeur totale à mi-hauteur (FWHM) et de rapport signal/bruit de crête (PSNR) de l'optimisation de la mise au point à l'aide de FFM et de PSO. Dans le cas de l'utilisation de FFM, la FWHM moyenne est de 81,2 μm et le PSNR moyen est de 8,46 dB.

L'étude a également révélé que**L'apprentissage FFM in situ fournit un outil précieux pour la conception de modalités d'imagerie non conventionnelles, en particulier dans les situations où une modélisation précise n'est pas possible.**Comme les missions sans visibilité directe (NLOS) et d’autres scénarios. Comme le montre la figure a ci-dessous, l’apprentissage FFM permet la reconstruction de scènes entièrement optiques et l’analyse d’objets cachés dynamiques. La figure b ci-dessous montre l’imagerie NLOS. Le front d'onde conçu par FFM a récupéré les formes des 3 lettres et l'indice de similarité structurelle de chaque cible a atteint 1,0.

En plus de la capacité d'imagerie dynamique, l'approche d'apprentissage FFM permet une classification optique complète des objets cachés dans les régions NLOS. Cette étude a comparé les performances de classification du FFM avec celles du réseau neuronal artificiel (ANN). Le résultat est présenté dans la figure c ci-dessous.Dans le cas de photons suffisants, FFM et ANN ont des performances similaires, mais FFM nécessite moins de photons pour une classification précise.

L’apprentissage FFM peut être étendu à l’auto-conception de systèmes photoniques intégrés. La simulation prend environ 100 cycles pour converger.

L’étude a révélé que la méthode d’apprentissage FFM peut être étendue à l’auto-conception de systèmes photoniques intégrés. Comme le montre la figure a ci-dessous, cette étude utilise un réseau neuronal intégré composé de cœurs photoniques symétriques connectés en série et en parallèle pour réaliser l'apprentissage FFM. Il est démontré que la symétrie des matrices permet à la matrice de propagation d'erreur et à la matrice de propagation de données d'être équivalentes.

La figure e ci-dessous visualise l’erreur de l’ensemble du réseau neuronal. Les résultats montrent qu’à la 80e itération,L'apprentissage FFM montre des erreurs de gradient inférieures à celles de la formation par simulation informatique.

Dans l'évolution de la précision de conception, comme le montre la figure f ci-dessous,La simulation idéale et l'expérience FFM nécessitent environ 100 cycles pour converger, mais la méthode FFM offre la meilleure précision.

La chaîne industrielle de l'informatique optique intelligente a progressivement mûri et pourrait être à l'aube d'une nouvelle ère

Il convient de mentionner que, sur la base des résultats de recherche de cet article,**L'équipe de recherche a lancé la puce d'entraînement optique « Tai Chi-II ».Le développement du « Tai Chi-II » n'a pris que 4 mois après la génération précédente du « Tai Chi », et les résultats correspondants ont également été publiés dans Science. Les résultats expérimentaux de l’article montrent queLe Tai Chi est 1 000 fois plus économe en énergie que le H100 de Nvidia.**Cette puissante capacité de calcul repose sur l'architecture informatique optique intelligente à large base distribuée, mise au point par l'équipe de recherche.
Lien vers l'article :

https://www.science.org/doi/10.1126/science.adl1203

**Avec le lancement de nouveaux produits de la série Taichi, l'informatique optique intelligente met à nouveau le feu à l'industrie.**Mais d’un point de vue pratique, qu’il s’agisse de matériel physique, de développement de logiciels ou d’applications, l’informatique optique intelligente nécessite encore davantage d’optimisation et d’exploration. En fait, le système de recherche en informatique optique intelligente est devenu de plus en plus mature. De nombreuses institutions et universités, telles que l'Université de Pékin, l'Université du Zhejiang et l'Université des sciences et technologies de Huazhong, y ont participé et les échanges universitaires connexes sont devenus de plus en plus fréquents. Toutefois, en termes d’orientations d’application spécifiques, les équipes de recherche représentées par des personnalités de premier plan de différentes universités ont des orientations différentes. Par exemple:

*** Équipe de l'académicien Dai Qionghai de l'Université Tsinghua :**Cette équipe est l’auteur de cet article. La puce de fusion optoélectronique IA de nouvelle génération qu'ils ont développée a réalisé des expériences dans des scénarios d'application tels que la reconnaissance d'images intelligente, les scènes de circulation et le réveil du visage. Il est rapporté qu'avec la même précision, les résultats de recherche de l'équipe ont augmenté la puissance de calcul des GPU existants de 3 000 fois et l'efficacité énergétique de 4 millions de fois, et devraient subvertir les idées informatiques traditionnelles dans des domaines tels que la conduite autonome, la vision robotique et les appareils mobiles.

*** L'équipe de Dong Jianji de l'Université des sciences et technologies de Huazhong :**La puce hybride optoélectronique développée par l’équipe a complété l’application de la reconnaissance de l’expression humaine.

*** L'équipe de Xu Shaofu de l'Université Jiao Tong de Shanghai :**La série de puces de fusion optoélectroniques développées par l'équipe a été appliquée à l'intelligence artificielle, au traitement du signal et à d'autres domaines, et a permis de réaliser des expériences informatiques dans la reconstruction d'images médicales et d'autres aspects.

La bonne nouvelle est que grâce aux efforts incessants des chercheurs, les progrès des puces informatiques optiques intelligentes de mon pays ont été pratiquement comparables à ceux des pays étrangers. Au cours des cinq dernières années, le nombre d’entreprises engagées dans l’informatique optique a rapidement augmenté, passant de quelques-unes à des dizaines dans le monde entier. À l'étranger, les plus représentatives sont Luminous Computing, qui s'engage à construire le premier supercalculateur d'intelligence artificielle au monde, et Lightmatter, qui utilise la technologie photonique pour améliorer les performances et les économies d'énergie des charges de travail d'IA et de calcul haute performance. Les deux sociétés ont reçu plus de 100 millions de dollars de financement.

**En Chine, les entreprises représentées par Xizhi Technology et Photonic Arithmetic ont également rejoint la compétition internationale de l'industrie de l'informatique optique.**Ces start-ups se concentrent toutes sur l'informatique optique, en se concentrant sur les accélérateurs de calcul optique basés sur des puces optiques, et effectuent également des recherches et développements de soutien de logiciels, de systèmes et de machines principales. En bref, la chaîne industrielle de l’informatique optique de mon pays a progressivement mûri et le système industrie-université-recherche concerné fonctionne de manière efficace et efficiente. Nous espérons également que dans cette nouvelle ère, l’informatique optique intelligente pourra donner une forte impulsion au développement de l’économie numérique et à une nouvelle productivité.