Pourquoi Le Frère Cadet De LeCun, Bengio, A-t-il Remporté Le Prix Avec Son Prédécesseur ?
Description du scénario :Les recherches de Bengio sur l’apprentissage profond ont favorisé l’avancement de la traduction automatique et ses réalisations lui ont finalement valu le prix Turing 2018.
Mots-clés:Prix Turing de traduction automatique en apprentissage profond
En 1988, Yoshua Bengio, étudiant au doctorat en génie informatique à l'Université McGill au Canada, ne s'attendait probablement pas à ce que plus de 30 ans plus tard, il remporte le prix Turing avec son idole Geoffrey Hinton.
Bengio est né en France et a grandi à Montréal, au Canada francophone. Il aime la science-fiction depuis qu’il est enfant. Par exemple, « Les androïdes rêvent-ils de moutons électriques » de l’écrivain de science-fiction Philip K. Dick est le roman qui l’a le plus impressionné. Il raconte l'histoire d'un robot sensible créé par une grande entreprise, qui finit par devenir un méchant en raison de l'influence de l'environnement.
Lorsque Bengio a lu l'un des articles de Hinton, il s'est senti comme électrocuté car il a retrouvé le sentiment des histoires de science-fiction qu'il aimait beaucoup dans son enfance, et cela l'a aidé à trouver sa propre direction de recherche.
Après avoir obtenu un diplôme postdoctoral du MIT, Bengio a rejoint Bell Labs et est devenu membre de l'équipe de LeCun. C'est à ce moment-là que sa relation avec le prix Turing a officiellement commencé.
Avant l’intervention de Bengio, la traduction automatique n’était qu’un expédient.
Lorsque Bengio a choisi son domaine de recherche, il n’avait probablement aucune idée de l’ampleur de l’impact qu’il aurait. Cette histoire commence avec la première machine de traduction d’IBM.
Cette machine de traduction a été inventée dans les années 1980, à une époque où la technologie dominante était la traduction automatique basée sur des règles (RBMT). L’approche la plus courante consiste à traduire mot à mot directement à partir d’un dictionnaire, puis à ajouter des règles syntaxiques pour le corriger. Cependant, les résultats sont très décevants, car ils semblent très « stupides », comme par exemple :
Pour ce slogan, si le contexte n'est pas pris en compte, les résultats de la traduction manuelle sont variés : « Peut-on être prostituée ? » « Nous avons le droit d’être des prostituées » ! « Nous faisons la bonne moitié du poulet »... alors sans parler de la traduction automatique basée sur des règles.
Par exemple, le slogan de KFC :« Nous faisons du poulet correctement », le résultat de la traduction automatique basée sur des règles est :« Nous faisons bien le poulet »,ou,« Nous sommes un couple de poulets »…
C’est pourquoi, dans les années 1980, cette méthode de traduction avait disparu.
Plus tard, il y a eu la traduction automatique basée sur des corpus, qui a été divisée en méthodes de traduction automatique basées sur les statistiques (SBMT) et sur les instances (EBMT). En termes simples, il s’agit d’un modèle d’extraction de phrases. Lorsque vous saisissez une phrase à traduire, il recherchera des phrases similaires dans le corpus bilingue, puis remplacera différentes traductions de vocabulaire.
Par exemple:
J'ai donné un stylo à Xiao Ming.
J'ai donné une pomme à Li Ming.
Pour de telles phrases, vous pouvez extraire leurs parties similaires et remplacer directement les mots aux différents endroits.
Cependant, cette méthode a des exigences très élevées en matière de structure du corpus bilingue, de division de la granularité des fragments de phrases, d'alignement des paires de phrases d'exemple et de réorganisation des fragments, et pose de nombreux problèmes. Il y avait donc encore à cette époque un grand écart entre la traduction automatique et la traduction manuelle.
Mécanisme d'attention, réforme de la traduction automatique
Au cours du dernier demi-siècle, le développement de la traduction automatique a connu de nombreux rebondissements, mais aucune amélioration significative n’a été constatée.
Il y a cinq ou six ans, Google Translate était encore basé sur la traduction automatique statistique basée sur des phrases (SMT), et la SMT a toujours été considérée comme la méthode de traduction automatique la plus avancée. Cependant, pour beaucoup de gens, la traduction automatique n’est qu’un outil de fortune.
Ce n’est qu’en 2014 que l’apprentissage automatique a finalement réalisé une percée historique grâce aux réseaux neuronaux.
Et c’est grâce à Yoshua Bengio.
En 2001, Yoshua Bengio et al. a publié un article historique au NIPS (rebaptisé NeurIPS en novembre de l'année dernière).« Un modèle de langage probabiliste neuronal », en utilisant des vecteurs de mots de grande dimension pour représenter le langage naturel. Son équipe a également introduit le mécanisme d’attention, qui a permis une percée dans la traduction automatique et est devenu une technologie importante pour l’apprentissage profond pour traiter les séquences.
En 2014, l'article de Yoshua Bengio« Apprentissage des représentations de phrases à l'aide de l'encodeur-décodeur RNN pour la traduction automatique statistique »C'est dans ce document que l'architecture de base de la technologie d'apprentissage profond utilisée dans la traduction automatique a été posée pour la première fois. Il utilise principalement un réseau neuronal récursif basé sur des séquences (RNN) pour permettre à la machine de capturer automatiquement les caractéristiques des mots entre les phrases, puis d'écrire automatiquement les résultats de la traduction dans une autre langue.
Lorsque cet article est sorti, Google était ravi. Bientôt, avec un approvisionnement suffisant en poudre à canon de Google et la bénédiction des dieux, l'article a été publié sur ArXiv.org en septembre 2016.« Système de traduction automatique neuronale de Google : combler le fossé entre la traduction humaine et la traduction automatique ».
Dans le même temps, Google a officiellement annoncé que toutes les traductions automatiques statistiques seraient retirées des rayons et que la traduction automatique par réseau neuronal prendrait le relais et deviendrait le courant dominant absolu de la traduction automatique moderne.
Google a annoncé qu'après environ 27 ans, la traduction automatique est officiellement passée du modèle de traduction automatique IBM de 1989 (PBMT, traduction automatique basée sur des phrases) au modèle de traduction automatique par réseau neuronal, qui a augmenté la précision de la traduction à 87%. Google affirme que dans plusieurs paires de langues telles que « anglais-français », « anglais-chinois » et « anglais-espagnol », le taux d'erreur a été réduit de 60% par rapport au système de traduction automatique statistique précédent.
Ce taux de précision est déjà très proche de celui de la traduction des gens ordinaires. Le MIT TR a indiqué qu'il était « presque impossible à distinguer d'un humain » et qu'il « démontrait de manière excellente la puissance de la traduction automatique par réseau neuronal ».
Cette nouvelle a fait sensation dans le monde technologique de l'époque, et le système de traduction automatique par réseau neuronal de Google (GNMT) est devenu une étape majeure dans l'histoire de la traduction automatique. Il convient de mentionner que GNMT utilise la technologie de traduction automatique par réseau neuronal (NMT) mise au point par Yoshua Bengio et son équipe d'apprentissage profond à l'Université de Montréal au Canada.
On peut donc dire que Yoshua Bengio a favorisé l’avancement de la technologie de compréhension et de traitement du langage naturel, et les recherches auxquelles il a participé ont ensuite été intégrées dans de nombreux produits d’assistance à la traduction automatique et à l’intelligence artificielle.
Après la NMT, une centaine d'écoles de pensée
Dans une interview de 2016, Yoshua Bengio a parlé de recherches passées qui le rendaient fier.Pour vous donner un exemple relativement récent, la traduction automatique a connu des avancées récentes, en grande partie grâce aux travaux de notre groupe de recherche, Neural Machine Translation, développé il y a environ deux ans et désormais utilisé dans des laboratoires du monde entier. Il s'agit de la technologie de traduction automatique la plus avancée et c'est la première fois que les réseaux neuronaux réalisent une avancée majeure en traduction automatique. Les réseaux neuronaux ont déjà réalisé des avancées majeures dans des domaines tels que la reconnaissance vocale et la vision par ordinateur, mais la traduction automatique et le traitement automatique du langage naturel en sont encore à leurs balbutiements. C'est donc une réussite dont nous pouvons être fiers.
Sur la base de la technologie NMT, diverses sociétés de technologie Internet ont également lancé successivement de nouvelles initiatives. En octobre 2017, Google a lancé un nouveau produit matériel, les écouteurs Pixel Buds, qui intègrent Google Assistant, la traduction en temps réel et d'autres fonctions, et prennent en charge la traduction en temps réel dans 40 langues.
Au cours des années suivantes, des entreprises nationales telles que NetEase Youdao, iFLYTEK et Sogou ont également lancé des produits de traduction automatique, et la technologie qui les sous-tend est indissociable de la NMT.
En mars 2018, des chercheurs du Redmond Research Institute de Microsoft Research Asia ont annoncé avoir ajouté une architecture de traduction automatique de réseau neuronal.Apprentissage doubleainsi queRéseaux de délibérationLe système de traduction automatique développé par l'équipe a atteint un niveau comparable à celui de la traduction humaine sur l'ensemble de tests de traduction chinois-anglais de l'ensemble de tests de reportages d'actualité générale newstest2017.
Imaginez si la traduction par réseau neuronal n’avait pas été proposée, nous serions peut-être encore au stade où de larges sections de traduction sont pleines d’erreurs grammaticales et les résultats sont « terribles ». L'éditeur de Super Neural AI risque également d'être licencié en raison d'un anglais médiocre et d'une mauvaise traduction...
Alors, grâce à Bengio, grâce à la traduction automatique neuronale, le prix Turing est bien mérité.