Derrière Le Prix Turing : Ils Ont Choisi La Bonne Voie Et Misé Sur Le Bon Scénario Il Y a 30 Ans
L’une des conditions nécessaires pour remporter le prix Turing est d’avoir réalisé des avancées majeures dans la recherche informatique et d’avoir apporté des contributions importantes à la société. La raison pour laquelle les trois prédécesseurs méritent ce prix est qu’ils ont non seulement réalisé de grandes avancées académiques dans la recherche scientifique, mais qu’ils sont également à l’avant-garde des solutions pratiques aux problèmes du monde réel.
Depuis sa création en 1966, le prix Turing a été principalement décerné à des personnes ayant apporté des contributions importantes à l’industrie informatique.
Trois grands noms du domaine de l'apprentissage profond ont remporté la plus haute distinction de l'industrie informatique en 2018 : le prix Turing. Leurs récompenses sont amplement méritées. Depuis l’époque où l’apprentissage profond n’était pas compris et apprécié jusqu’à son application actuelle presque partout, ils ont apporté une contribution indispensable à l’innovation et à la promotion de cette technologie.
Nous n’entrerons pas ici dans les détails de leurs rapports et de leurs réalisations. Au lieu de cela, nous allons jeter un œil à quelques petites scènes pour voir comment ces trois chercheurs de haut niveau ont surmonté tous les obstacles sur leur chemin.
La technologie signature de LeCun est issue des chèques bancaires
Ce qui a poussé LeCun à s’engager dans la reconnaissance de l’écriture manuscrite était en fait un projet basé sur le hasard. À cette époque, LeCun, qui était dans la fleur de l'âge, était chef d'équipe chez Bell Labs (qui appartenait alors à AT&T). En tant que principale entreprise de technologie de communication à l'époque, AT&T prévoyait de coopérer avec les principales banques des États-Unis pour mener à bien de nouveaux projets de recherche.
Le plus gros casse-tête pour les banques est de savoir comment identifier un grand nombre de chèques et de factures manuscrits. À cette époque, reconnaître les caractères manuscrits était un défi difficile, et les méthodes traditionnelles étaient lentes et avaient de faibles taux de reconnaissance.
Lecun a intégré l'algorithme de rétropropagation dans le réseau neuronal convolutif (CNN) et a utilisé près de 10 000 échantillons de chiffres manuscrits fournis par la Poste américaine pour former le système. Dans le processus de test réel, le taux d'erreur n'était que de 5 %.
Par la suite, cette technologie innovante a été utilisée dans les systèmes de reconnaissance de chèques des distributeurs automatiques de billets de nombreuses banques. À la fin des années 1990, ce système permettait de reconnaître 10 à 20 % des chèques aux États-Unis.
Les recherches de Lecun ont proposé CNN pour la première fois et ont atteint une précision de niveau commercial dans les circonstances de l'époque. Cela prouve que les réseaux neuronaux profonds présentent des avantages naturels dans le traitement d’images.
Cependant, en raison de la technologie et du matériel de l’époque, le développement des réseaux profonds présentait encore de nombreux inconvénients, comme une puissance de calcul insuffisante. Bien que l’algorithme ait rencontré un énorme succès, il a fallu trois jours pour le former sur l’ensemble de données.
Dans la période qui a suivi, l’IA a de nouveau été accueillie froidement. Couplé à la facilité d’utilisation des machines à vecteurs de support (SVM), l’apprentissage en profondeur n’était pas pris au sérieux et était plutôt considéré comme une technologie secondaire.
Adresse du document :http://yann.lecun.com/exdb/publis/pdf/lecun-89e.pdf
LeCun recherche de nouveaux scénarios pour la conduite autonome
Ce n'est qu'en 2006 que, grâce à la persévérance et à la promotion à long terme de Yoshua Bengio, Yann LeCun, Geoffrey Hinton et d'autres, et à l'incorporation de certaines nouvelles idées et méthodes, cette technologie, qui n'était pas à l'origine valorisée par la plupart des gens, a lentement commencé à briller.
2006 est également connue comme la première année de l’apprentissage profond. Hinton a résolu le problème qu’il avait rencontré auparavant : le problème du gradient évanescent dans les réseaux profonds.
Passons maintenant à 2009-2010,Lecun et l'Université de New York ont collaboré sur une expérience visant à identifier des bâtiments, des cieux, des routes, des piétons et des véhicules à partir d'images utilisant une technologie d'apprentissage en profondeur.
L'étape clé de la reconnaissance d'image est l'analyse de la scène, qui consiste à étiqueter chaque élément de l'image avec sa catégorie correspondante, suivie de la division et de l'étiquetage des régions. Le défi de cette étape est qu’elle combine les problèmes traditionnels de détection, de segmentation et de traitement de reconnaissance multi-étiquettes.
Pour obtenir une bonne classification visuelle et une bonne précision, ils ont utilisé des réseaux neuronaux convolutifs. Dans l'étude, un réseau convolutionnel à propagation directe a été démontré, qui, grâce à une formation de bout en bout supervisée, a extrait plusieurs échelles de pixels d'origine à partir d'images de grande taille, atteignant le niveau le plus avancé à l'époque sur l'ensemble de données d'analyse de scène standard.
Il convient de mentionner que ce modèle ne repose pas sur l’ingénierie des fonctionnalités, mais utilise l’apprentissage supervisé, formé à partir d’images entièrement étiquetées pour apprendre correctement les fonctionnalités de bas et de moyen niveau.
Adresse du document :http://yann.lecun.com/exdb/publis/pdf/farabet-pami-13.pdf
Les meilleures relations publiques de Google : Hinton et la rétinopathie diabétique
Si l’on dit que l’apprentissage profond a progressivement attiré davantage de chercheurs depuis 2006, alors après 2012 son développement est officiellement entré dans un mode rapide.
En 2012, l’équipe dirigée par Hinton a utilisé des méthodes de réseau neuronal profond pour remporter une victoire nette en reconnaissance d’images lors du concours ImageNet.
En 2016, AlphGo, basé sur l'apprentissage profond, a battu Lee Sedol, et l'apprentissage profond a également fait connaître l'IA à de nombreuses personnes. Après des années de silence, l’apprentissage profond est officiellement entré dans une période de croissance explosive, et son potentiel dans de nombreux domaines tels que le traitement visuel et la reconnaissance vocale a été pleinement démontré.
Un tout petit exemple :En 2017, Geoffrey Hinton a conduit Google Brain à utiliser une nouvelle méthode de classification pour aider au diagnostic médical.En modélisant des étiquettes individuelles pour améliorer les capacités de classification, nous avons également démontré que cette approche d’étiquetage améliore la précision du diagnostic assisté par ordinateur de la rétinopathie diabétique.
Cette méthode innovante est utilisée pour traiter d’énormes quantités de données du monde réel qui nécessitent un étiquetage expert.
À cette époque, la tâche d'étiquetage d'un ensemble de données était généralement divisée entre de nombreux experts, chacun d'entre eux n'étiquetant qu'une petite partie des données et le même point de données contenait des étiquettes marquées par plusieurs experts.
Une telle approche peut aider à réduire la charge de travail individuelle et également à découvrir des vérités difficiles à trouver dans les données. Lorsque les experts ne sont pas d’accord sur l’étiquette du même point de données, l’approche standard consiste à prendre l’étiquette qui bénéficie du plus grand soutien des experts comme étant l’étiquette correcte, ou à modéliser l’étiquette correcte pour obtenir l’état de distribution.
Cependant, cette approche ignore les informations potentiellement utiles sur les experts qui ont attribué les étiquettes à chacune d’elles. Par exemple, une situation découverte par un expert doté d’une expertise unique peut finalement être ignorée par l’algorithme parce que personne d’autre n’en est conscient.
L’équipe de Google Brain a proposé de modéliser les experts séparément, puis d’apprendre les poids moyens pour combiner ces informations, peut-être d’une manière spécifique à l’échantillon. De cette manière, davantage de poids peut être attribué aux experts les plus fiables et les points forts uniques de chaque expert peuvent être utilisés pour classer certains types spécifiques de données.
En appliquant des réseaux neuronaux profonds, ils ont utilisé cette méthode de classification pour améliorer le diagnostic du diabète à travers la rétine, et les performances de l'algorithme qu'ils ont fourni étaient également meilleures que celles des autres méthodes.
Choisissez la bonne voie et rapprochez-vous du prix Turing
27 mars 2019Le prix Turing 2018 a été annoncé et trois praticiens de l'apprentissage profond de longue date, Yoshua Bengio, Geoffrey Hinton et Yann LeCun, ont remporté le prix., la raison en est qu’ils ont joué un rôle crucial dans le développement des réseaux neuronaux profonds.
En effet, les contributions de ces trois personnes au développement de l’apprentissage profond sont trop nombreuses pour être mentionnées, et les trois scénarios énumérés dans cet article ne sont qu’une des opportunités de leur réussite. Nous pouvons voir la gloire après avoir remporté un prix, mais pour eux, la chose la plus précieuse devrait être les décennies de dévouement et de passion pour la piste et la technologie en lesquelles ils croient.