チューリング賞の裏側: 30 年前、彼らは正しい道を選び、正しいシーンに賭けた
殿堂
見出し
Dao Wei
チューリング賞を受賞するために必要な条件の 1 つは、コンピューター分野における研究における大きな進歩と社会への重要な貢献です。 3 人の先輩がこの賞に値する理由は、彼らが科学研究において学術的に大きな進歩を遂げただけでなく、現実のシナリオの問題に対する実践的な解決策の最前線にいたからです。
1966 年の創設以来、チューリング賞は主にコンピュータ業界に重要な貢献をした個人に授与されてきました。
2018年、コンピューター業界最高の栄誉であるチューリング賞をディープラーニング分野のビッグネーム3社が受賞した。彼らの受賞は当然のことです。ディープラーニングは理解されず無視されましたが、現在ではほぼあらゆる場所で使用されており、このテクノロジーの革新と推進に不可欠な影響を及ぼしています。
ここでは彼らの報告書や業績については詳しく説明しません。これら 3 人のトップ研究者が途中でどのように障害を克服したかをいくつかの小さなシーンから見てみましょう。
LeCun の最先端テクノロジーは銀行小切手から生まれました
LeCun が手書き認識に専念するきっかけとなったのは、実は偶然に基づいたプロジェクトでした。当時全盛期だったルカン氏は、当時通信技術のトップ企業としてベル研究所（当時はまだAT&Tの一部だった）でチームリーダーを務めており、大手銀行との協力を計画していた。新しい研究プロジェクトを実施するために米国に滞在します。
銀行にとって最大の悩みの一つは、大量の手書きの小切手や請求書をどうやって識別するかということです。当時、手書き文字を認識することは困難な課題であり、従来の方法は時間がかかり、認識率も低かったのです。
Lecun は、バックプロパゲーション アルゴリズムを畳み込みニューラル ネットワーク (CNN) に統合し、米国郵便局から提供された約 10,000 個の手書き数字サンプルを使用してシステムをトレーニングしました。最終的に、実際のテスト中のエラー率はわずか 5 % でした。
その直後、この革新的な技術は多くの銀行 ATM の小切手認識システムに使用され、1990 年代後半には、このシステムが米国の小切手認識の 10% ～ 20% を処理しました。
Lecun 氏の研究は初めて CNN を提案し、当時の状況下で商業レベルの精度を達成しました。ディープ ニューラル ネットワークには画像処理において自然な利点があることが証明されています。
しかし、当時の技術とハードウェアの観点では、計算能力が追いつかないなど、ディープネットワークの開発にはまだ多くの欠点がありました。アルゴリズムは大成功しましたが、データセットでのトレーニングには最大 3 日かかりました。
それ以来、AI はサポート ベクター マシン (SVM) の使いやすさと相まって冷遇され、むしろ異端のテクノロジーとみなされてきました。
用紙のアドレス:http://yann.lecun.com/exdb/publis/pdf/lecun-89e.pdf
LeCun は自動運転の新たなシナリオを模索
2006 年まで、Yoshua Bengio、Yann LeCun、Geoffrey Hinton らの長期にわたる継続と推進、およびいくつかの新しい視点と手法の統合により、ほとんどの人には評価されなかったこのテクノロジーがゆっくりと開花しました。 。
2006 年は、ヒントンが以前に遭遇した問題、つまりディープ ネットワークにおける勾配消失問題を解決した年としても知られています。
2009 年から 2010 年にジャンプします。Lecun はニューヨーク大学と協力して、ディープラーニング技術を使用して写真から建物、空、道路、歩行者、車両を識別する実験を行いました。
画像認識における重要なステップはシーン解析です。これには、画像内の各要素に対応するカテゴリのラベルを付け、その後に領域の分割とラベル付けが含まれます。このステップの課題は、従来の検出問題とセグメンテーションおよびマルチラベル認識処理を組み合わせていることです。
優れた視覚的分類と精度を実現するために、畳み込みニューラル ネットワークが使用されています。研究では、フィードフォワード畳み込みネットワークが、教師付きエンドツーエンドのトレーニング方法を通じて大サイズの画像から複数のスケールの元のピクセルを抽出することが実証され、標準的なシーン解析データで当時最高のパフォーマンスを達成しました。レベルを設定します。
このモデルは特徴エンジニアリングに依存せず、完全にラベル付けされた画像からトレーニングされた教師あり学習を使用して、低レベルおよび中レベルの特徴を適切に学習することに言及する価値があります。
用紙のアドレス:http://yann.lecun.com/exdb/publis/pdf/farabet-pami-13.pdf
Google の最高の PR: ヒントンと糖尿病
2006 年にディープラーニングが徐々に多くの研究者を惹きつけたとすれば、2012 年に入ってからその開発は正式に急速モードに入りました。
2012 年、ヒントン率いるチームはディープ ニューラル ネットワーク手法を使用して、ImageNet コンペティションで最高の画像認識を達成しました。
2016年にはディープラーニングをベースにしたAlphGoがイ・セドルを破り、ディープラーニングもAIを多くの人に知られるようになりました。長年の沈黙を経て、ディープラーニングは正式に爆発的な時期に入り、視覚処理や音声認識などの多くの分野でその可能性が十分に実証されています。
非常に小さな例:2017 年、ジェフリー ヒントンは Google Brain を率いて、医療診断を支援する新しい分類方法を使用しました。個々のラベルをモデル化して分類機能を向上させることにより、このラベル付け方法を使用すると、糖尿病性網膜症のコンピューター支援診断の精度が向上することも実証します。
この革新的な方法は、専門家のラベル付けを必要とする大量の実世界のデータを処理するために使用されます。
当時、データ セットにラベルを付けるタスクは通常、多くの専門家によって行われていました。各専門家はデータのごく一部にのみラベルを付けており、同じデータ ポイントには複数の専門家によってラベルが付けられていました。
このようなアプローチは、個人の作業負荷を軽減するだけでなく、データ内の見つけにくい真実を明らかにするのにも役立ちます。同じデータ ポイントのラベルについて専門家が異なる意見を持っている場合、標準的なアプローチは、より専門家のサポートがあるラベルを正しいラベルとみなすか、正しいラベルをモデル化して分布状態を取得することです。
ただし、このようなアプローチでは、どの専門家がどのタグにラベルを付けたかに関する潜在的に有効な情報が無視されます。たとえば、独自の専門知識を持つ専門家によって発見された状況は、他の誰も知らないため、最終的にはアルゴリズムによって無視される可能性があります。
Google Brain チームは、専門家を個別にモデリングし、おそらくサンプル固有の方法で、その情報を組み合わせる平均重みを学習することを提案しました。このようにして、より信頼できる専門家により多くの重みが割り当てられ、個々の専門家の独自の強みが特定の種類のデータの分類に使用されます。
彼らは、ディープ ニューラル ネットワークの応用を通じて、網膜を通じて糖尿病を診断できるようにこの分類方法を改良し、他の方法よりも優れたアルゴリズムのパフォーマンスを提供したいと考えています。
適切なコースを選択してチューリング賞に近づきましょう
2019年3月27日2018 年のチューリング賞が発表され、ディープ ラーニングの長期実践者であるヨシュア ベンジオ、ジェフリー ヒントン、ヤン ルカンの 3 名が賞を受賞しました。その理由は、ディープ ニューラル ネットワークの開発において重要な役割を果たしてきたからです。
この 3 人がディープ ラーニングの発展に数え切れないほどの貢献をしてきたことは事実であり、この記事に挙げた 3 つのシナリオは、彼らが成功するための機会の 1 つにすぎません。私たちは受賞後の栄光を見ることができますが、彼らにとって最も貴重なのは、彼らが信じているトラックとテクノロジーに対する数十年の投資と熱意であるはずです。