なぜルカン氏の弟ベンジオ氏が前任者らとともにこの賞を受賞したのでしょうか？
見出し
おすすめリスト
Dao Wei
シーンの説明:Bengio 氏の深層学習の研究は機械翻訳の進歩を促進し、その功績により最終的に 2018 年チューリング賞を受賞しました。
キーワード:ディープラーニング機械翻訳チューリング賞
1988年、カナダのマギル大学でコンピュータ工学を専攻していた博士課程の候補者ヨシュア・ベンジオは、おそらく30年以上も経って、憧れのジェフリー・ヒントンとともにチューリング賞を受賞することになるとは予想していなかったであろう。
ベンジオはフランスで生まれ、カナダのフランス語圏であるモントリオールで育ちました。彼は子供の頃からSF小説が好きで、例えばSF作家フィリップ・K・ディックの『アンドロイドは電気羊の夢を見るか』は彼が最も感銘を受けた小説だ。やがて彼は環境の影響で悪役になってしまった。
ベンジオはヒントンの論文を読んで感電したように感じました。なぜなら、彼は子供の頃に大好きだった SF 物語の感覚を発見し、それが彼自身の研究の方向性を見つけるのに役立ったからです。
MIT で博士号を取得した後、Bengio は Bell Labs に入社し、LeCun のチームのメンバーになりました。この時点でチューリング賞との関係が正式に始まりました。
Bengio が介入する前は、機械翻訳は死ぬか死ぬかでした。
ベンジオは自分の研究分野を選んだとき、自分がどのような影響を与えるか予想していなかったかもしれません。これは、IBM の最初の翻訳者から始まります。
この翻訳機は、ルールベース機械翻訳 (RBMT) が主流の 1980 年代に誕生しました。最も一般的な方法は、辞書から直接単語ごとに翻訳し、それを修正するために構文ルールを追加することです。しかし、次のような非常に「遅れた」ように見えるため、結果は非常に残念なものであることが判明しました。
このスローガンは、背景を考慮しないと、「私たちはニワトリになれるでしょうか？」「私たちにはニワトリになる権利があります」と人間が翻訳した結果はさまざまです。 「鶏の右半分をやろう」…ルールベースの機械翻訳は言うまでもなく。
もう一つの例は、KFC のスローガンです。「私たちはチキンを正しく作ります」、ルールベースの機械翻訳の結果は次のようになります。「チキンを正しく作ろう」、または、「チキンペアを作ろう」…
したがって、1980年代までに、そのような翻訳方法は消滅しました。
その後、コーパスベースの機械翻訳が登場し、統計ベース (SBMT) とインスタンスベースの機械翻訳 (EBMT) 手法に分けられました。平たく言えば、文パターンを抽出し、翻訳したい文を入力すると、対訳コーパスから類似した文を検索し、異なる語彙の翻訳を置き換えます。
例えば：
私はシャオミンにペンをあげました。
私はリー・ミンにリンゴをあげました。
このような文章の場合、類似部分を抽出し、別の単語を直接置き換えることができます。
しかし、この方法は、対訳コーパスのレジュメ、文節断片粒度の分割、例文対の整列、断片再構成などの要求が高く、多くの問題を抱えている。したがって、当時は機械翻訳と人間の翻訳の間にはまだ大きなギャップがありました。
アテンションメカニズム、機械翻訳に革命をもたらす
半世紀以上にわたり、機械翻訳の開発は紆余曲折を経てきましたが、大きな改善は見られませんでした。
5 ～ 6 年前、Google 翻訳はまだフレーズベースの統計的機械翻訳 (SMT) であり、SMT は常に最先端の機械翻訳手法とみなされてきました。しかし、多くの人にとって、機械翻訳は単なる「間に合わせ」に過ぎません。
2014 年まで、機械学習はニューラル ネットワークのおかげでついに歴史的な進歩を迎えました。
これもすべてヨシュア・ベンジオのおかげです。
2001年、Yoshua BengioらはNIPS（昨年11月にNeurIPSに改名）に関する画期的な論文を発表した。「神経確率言語モデル」、高次元の単語ベクトルを使用して自然言語を表現します。彼のチームはアテンション メカニズムも導入しました。これにより、機械翻訳は画期的な進歩を遂げ、シーケンスを処理するための深層学習にとって重要なテクノロジーとなりました。
2014年、ヨシュア・ベンジオの論文「統計的機械翻訳のための RNN エンコーダ - デコーダを使用したフレーズ表現の学習」、機械翻訳のための深層学習技術の基本アーキテクチャが初めて構築されました。彼は主にシーケンスベースのリカレント ニューラル ネットワーク (RNN) を使用して、機械が文間の単語の特徴を自動的にキャプチャし、翻訳結果を別の言語で自動的に書き出すことができます。
この記事が出た瞬間、Googleは宝のような存在になりました。間もなく、Google からの十分な火薬の供給と偉大な神の祝福により、この論文は 2016 年 9 月に ArXiv.org で公開されました。「Google のニューラル機械翻訳システム: 人間による翻訳と機械翻訳の間のギャップを埋める」。
同時に、Google はすべての統計的機械翻訳が棚から削除され、ニューラル ネットワーク機械翻訳が引き継ぎ、現代の機械翻訳の絶対的な主流になると正式に発表しました。
Googleは、約27年の時を経て、機械翻訳が1989年のIBM機械翻訳モデル（PBMT、フレーズベース機械翻訳）からニューラルネットワーク機械翻訳モデルに正式に移行し、翻訳精度が最大87%まで向上したと発表した。 , 「英語-フランス語」、「英語-中国語」、「英語-スペイン語」などの複数の言語ペアにおいて、以前の統計的機械翻訳システムと比較して、エラー率が60%減少しました。
この正解率は一般人の翻訳に非常に近いです。 MIT TRは、これは「人間とほとんど区別がつかない」、「ニューラルネットワーク機械翻訳の力を示す優れたデモンストレーション」であると報告した。
このニュースは当時の技術界で爆発的に広がり、Google Neural Network Machine Translation System (GNMT) は機械翻訳の歴史における大きなマイルストーンとなりました。 GNMT は、カナダのモントリオール大学の Yoshua Bengio 氏と彼の深層学習チームによって開発されたニューラル ネットワーク機械翻訳 (NMT) テクノロジーを使用していることに言及しなければなりません。
したがって、Yoshua Bengio は自然言語理解と処理技術の進歩を促進し、彼が参加した研究は後に多くの機械翻訳や人工知能アシスタント製品に組み込まれたと言えます。
NMTの後、100の思想派が争う
2016年のインタビューで、ヨシュア・ベンジオは、誇りに思っていた過去の研究について次のように語った。「比較的新しい例を挙げると、最近機械翻訳である程度の進歩が見られました。その多くは、約 2 年前に行われた私たちの研究グループであるニューラル機械翻訳の成果によるものです。これは最も先進的な機械翻訳です。」ニューラル ネットワークが機械翻訳の分野で大きな進歩を遂げたのはこれが初めてです。これまで、ニューラル ネットワークは音声認識とコンピューター ビジョンの分野で大きな成果を上げてきましたが、機械翻訳と自然言語処理はまだ進歩していません。まだ初期段階にあるので、これは私たちが誇りに思うことができる成果だと思います。」
NMT技術をベースに、さまざまなインターネット技術企業も次々と新たな取り組みを始めている。 Googleは2017年10月、Googleアシスタントやリアルタイム翻訳機能などを統合し、40言語のリアルタイム翻訳をサポートできる新ハードウェア製品「Pixel Buds」を発売した。
その後、NetEase Youdao、iFlytek、Sogou などの国内企業も翻訳製品を発売しましたが、その背後にあるテクノロジーは NMT と切り離すことができません。
2018 年 3 月、マイクロソフト リサーチ アジアのレドモンド研究所の研究者は、ニューラル ネットワーク機械翻訳アーキテクチャに AI を追加したと発表しました。二重学習同様に審議ネットワーク, 開発された機械翻訳システムは、一般報道テストセットnewstest2017の中国語-英語翻訳テストにおいて、人間による翻訳と同等のレベルに達しました。
もし最初にニューラルネットワーク翻訳が提案されていなかったら、私たちは依然として翻訳の大部分が文法上の誤りに満ちており、結果が「ひどい」という段階に陥っていたかもしれないと想像してみてください。そして、スーパーニューラルAIの編集者も英語力と翻訳力が低いために解雇の危機に直面するかもしれません…。
したがって、Bengio のおかげで、ニューラル ネットワークの機械翻訳のおかげで、チューリング賞を受賞するのは当然のことです。