Warum Hat LeCuns Jüngerer Bruder Bengio Den Preis Zusammen Mit Seinem Vorgänger Gewonnen?
Szenariobeschreibung:Bengios Forschung im Bereich Deep Learning hat die Weiterentwicklung der maschinellen Übersetzung vorangetrieben und seine Leistungen brachten ihm schließlich den Turing Award 2018 ein.
Schlüsselwörter:Turing Award für maschinelle Übersetzung im Deep Learning
Yoshua Bengio, Doktorand im Fach Computertechnik an der McGill University in Kanada, hätte 1988 wahrscheinlich nicht damit gerechnet, dass er mehr als 30 Jahre später gemeinsam mit seinem Idol Geoffrey Hinton den Turing Award gewinnen würde.
Bengio wurde in Frankreich geboren und wuchs in Montreal im französischsprachigen Kanada auf. Er liebt Science-Fiction seit seiner Kindheit. So ist beispielsweise „Träumen Androiden von elektrischen Schafen?“ des Science-Fiction-Autors Philip K. Dick der Roman, der ihn am meisten beeindruckt hat. Es erzählt die Geschichte eines empfindungsfähigen Roboters, der von einem großen Unternehmen entwickelt wurde und durch den Einfluss der Umwelt schließlich zum Bösewicht wird.
Als Bengio einen von Hintons Aufsätzen las, fühlte er sich wie unter Strom, denn er fand darin das Gefühl der Science-Fiction-Geschichten wieder, die er in seiner Kindheit so geliebt hatte, und dies half ihm, seine eigene Forschungsrichtung zu finden.
Nach seinem Postdoktorat am MIT wechselte Bengio zu Bell Labs und wurde Mitglied von LeCuns Team. Zu diesem Zeitpunkt begann offiziell seine Beziehung zum Turing Award.
Bevor Bengio eingriff, war die maschinelle Übersetzung nur ein Notbehelf
Als Bengio sein Forschungsgebiet wählte, hatte er wahrscheinlich keine Ahnung, welchen großen Einfluss er haben würde. Diese Geschichte beginnt mit der ersten Übersetzungsmaschine von IBM.
Diese Übersetzungsmaschine wurde in den 1980er Jahren erfunden, als die gängige Technologie die regelbasierte maschinelle Übersetzung (RBMT) war. Der gängigste Ansatz besteht darin, Wort für Wort direkt aus einem Wörterbuch zu übersetzen und dann zur Korrektur syntaktische Regeln hinzuzufügen. Allerdings sind die Ergebnisse sehr enttäuschend, da sie sehr „dumm“ aussehen, wie zum Beispiel:
Bei diesem Slogan fallen die Ergebnisse einer manuellen Übersetzung, wenn der Kontext nicht berücksichtigt wird, unterschiedlich aus: „Können wir Prostituierte sein?“ „Wir haben das Recht, Prostituierte zu sein“! „Wir machen die richtige Hähnchenhälfte“ … also von regelbasierter maschineller Übersetzung ganz zu schweigen.
Beispielsweise lautet der Slogan von KFC:„Wir machen Hühnchen richtig“, das regelbasierte maschinelle Übersetzungsergebnis ist:„Wir machen Hühnchen richtig“,oder,„Wir sind ein Hühnerpärchen“…
Daher war diese Übersetzungsmethode in den 1980er Jahren verschwunden.
Später kam die korpusbasierte maschinelle Übersetzung hinzu, die in statistikbasierte (SBMT) und instanzbasierte (EBMT) Methoden der maschinellen Übersetzung unterteilt wurde. Einfach ausgedrückt handelt es sich um ein Satzextraktionsmodell. Wenn Sie einen zu übersetzenden Satz eingeben, wird im zweisprachigen Korpus nach ähnlichen Sätzen gesucht und dann unterschiedliche Vokabelübersetzungen ersetzt.
Zum Beispiel:
Ich gab Xiao Ming einen Stift.
Ich habe Li Ming einen Apfel gegeben.
Bei solchen Sätzen können Sie die ähnlichen Teile extrahieren und die Wörter an den verschiedenen Stellen direkt ersetzen.
Allerdings stellt diese Methode sehr hohe Anforderungen an die Struktur des zweisprachigen Korpus, die Aufteilung der Phrasenfragmentgranularität, die Ausrichtung von Beispielsatzpaaren und die Neuorganisation von Fragmenten und bringt zahlreiche Probleme mit sich. Daher bestand damals noch eine große Lücke zwischen maschineller und manueller Übersetzung.
Aufmerksamkeitsmechanismus, Reform der maschinellen Übersetzung
Im letzten halben Jahrhundert hat die Entwicklung der maschinellen Übersetzung viele Wendungen genommen, doch es gab keine nennenswerten Verbesserungen.
Vor fünf oder sechs Jahren basierte Google Translate noch auf der phrasenbasierten statistischen maschinellen Übersetzung (SMT) und SMT galt schon immer als die fortschrittlichste Methode der maschinellen Übersetzung. Für viele Menschen ist die maschinelle Übersetzung jedoch nur ein Notbehelf.
Erst im Jahr 2014 gelang dem maschinellen Lernen dank neuronaler Netzwerke endlich der historische Durchbruch.
Und das ist Yoshua Bengio zu verdanken.
Im Jahr 2001 haben Yoshua Bengio et al. veröffentlichte ein wegweisendes Papier bei NIPS (im November letzten Jahres umbenannt in NeurIPS).„Ein neuronales probabilistisches Sprachmodell“, wobei hochdimensionale Wortvektoren zur Darstellung natürlicher Sprache verwendet werden. Sein Team führte außerdem den Aufmerksamkeitsmechanismus ein, der einen Durchbruch in der maschinellen Übersetzung ermöglichte und zu einer wichtigen Technologie für Deep Learning zur Verarbeitung von Sequenzen wurde.
Im Jahr 2014 veröffentlichte Yoshua Bengios Artikel„Lernen von Phrasendarstellungen mit RNN-Encoder-Decoder für statistische maschinelle Übersetzung“Darin wurde erstmals die grundlegende Architektur der in der maschinellen Übersetzung verwendeten Deep-Learning-Technologie festgelegt. Er verwendet hauptsächlich ein sequenzbasiertes rekursives neuronales Netzwerk (RNN), um es der Maschine zu ermöglichen, automatisch Wortmerkmale zwischen Sätzen zu erfassen und dann automatisch Übersetzungsergebnisse in eine andere Sprache zu schreiben.
Als dieser Artikel herauskam, war Google überglücklich. Mit ausreichend Schießpulver von Google und dem Segen der Götter wurde das Papier bald im September 2016 auf ArXiv.org veröffentlicht.„Googles neuronales maschinelles Übersetzungssystem: Überbrückung der Lücke zwischen menschlicher und maschineller Übersetzung“.
Gleichzeitig gab Google offiziell bekannt, dass alle statistischen maschinellen Übersetzungen aus den Regalen verschwinden und die maschinelle Übersetzung mithilfe neuronaler Netzwerke die Oberhand gewinnen und zum absoluten Mainstream der modernen maschinellen Übersetzung werden würde.
Google gab bekannt, dass die maschinelle Übersetzung nach etwa 27 Jahren offiziell vom IBM-Maschinenübersetzungsmodell (PBMT, Phrasenbasierte Maschinenübersetzung) aus dem Jahr 1989 auf das Maschinenübersetzungsmodell mit neuronalen Netzwerken umgestellt wurde, wodurch die Übersetzungsgenauigkeit auf 87% erhöht wurde. Google behauptet, dass bei mehreren Sprachpaaren wie „Englisch-Französisch“, „Englisch-Chinesisch“ und „Englisch-Spanisch“ die Fehlerrate im Vergleich zum vorherigen statistischen maschinellen Übersetzungssystem um 60% reduziert wurde.
Diese Genauigkeitsrate kommt der Übersetzung gewöhnlicher Leute bereits sehr nahe. MIT TR berichtete, dass es „fast nicht von einem Menschen zu unterscheiden“ sei und „die Leistungsfähigkeit der maschinellen Übersetzung neuronaler Netzwerke hervorragend demonstriert“ habe.
Diese Neuigkeit sorgte damals in der Technologiebranche für Aufsehen und Googles neuronales Netzwerk-Maschinenübersetzungssystem (GNMT) wurde zu einem wichtigen Meilenstein in der Geschichte der maschinellen Übersetzung. Es ist erwähnenswert, dass GNMT die von Yoshua Bengio und seinem Deep-Learning-Team an der Universität Montreal in Kanada entwickelte Technologie der maschinellen Übersetzung mit neuronalen Netzwerken (NMT) verwendet.
Daher kann man sagen, dass Yoshua Bengio die Weiterentwicklung der Technologie zum Verstehen und Verarbeiten natürlicher Sprache vorangetrieben hat und die Forschung, an der er beteiligt war, später in viele Produkte zur maschinellen Übersetzung und künstlichen Intelligenz als Assistent eingeflossen ist.
Nach NMT: Hundert Denkschulen
In einem Interview im Jahr 2016 sprach Yoshua Bengio über frühere Forschungen, auf die er stolz war.Um ein relativ aktuelles Beispiel zu nennen: Es gab in letzter Zeit einige Fortschritte in der maschinellen Übersetzung, die größtenteils der Arbeit unserer Forschungsgruppe „Neural Machine Translation“ zu verdanken sind. Diese wurde vor etwa zwei Jahren entwickelt und wird heute in Laboren weltweit eingesetzt. Es handelt sich um die fortschrittlichste Technologie für maschinelle Übersetzung und das erste Mal, dass neuronale Netze einen großen Durchbruch in der maschinellen Übersetzung erzielt haben. Zuvor haben neuronale Netze bereits große Fortschritte in Bereichen wie Spracherkennung und Computer Vision erzielt, doch die maschinelle Übersetzung und die Verarbeitung natürlicher Sprache stecken noch in den Kinderschuhen. Ich denke, das ist eine Leistung, auf die wir stolz sein können.“
Basierend auf der NMT-Technologie haben auch verschiedene Internettechnologieunternehmen sukzessive neue Initiativen gestartet. Im Oktober 2017 brachte Google mit den Kopfhörern Pixel Buds ein neues Hardwareprodukt auf den Markt, das Google Assistant, Echtzeitübersetzung und andere Funktionen integriert und Echtzeitübersetzung in 40 Sprachen unterstützt.
In den folgenden Jahren brachten auch inländische Unternehmen wie NetEase Youdao, iFLYTEK und Sogou Übersetzungsmaschinen auf den Markt, deren Technologie untrennbar mit NMT verbunden ist.
Im März 2018 gaben Forscher des Redmond Research Institute von Microsoft Research Asia bekannt, dass sie eine maschinelle Übersetzungsarchitektur mit neuronalen Netzwerken hinzugefügt hätten.Duales LernensowieDeliberation-NetzwerkeDas vom Team entwickelte maschinelle Übersetzungssystem hat im Chinesisch-Englisch-Übersetzungstestsatz des allgemeinen Nachrichtenberichtstestsatzes newstest2017 ein Niveau erreicht, das mit dem der menschlichen Übersetzung vergleichbar ist.
Stellen Sie sich vor, es wäre keine Übersetzung mit neuronalen Netzen vorgeschlagen worden. Dann wären wir möglicherweise immer noch in der Phase, in der große Teile der Übersetzung voller Grammatikfehler sind und die Ergebnisse „schrecklich“ sind. Dem Redakteur der Super Neural AI droht außerdem die Entlassung aufgrund seines schlechten Englisch und seiner schlechten Übersetzung …
Also, dank Bengio, dank der neuronalen maschinellen Übersetzung ist der Turing Award wohlverdient.