AIの名付け親であるヒントンは天才一家に生まれたが、落ちこぼれで常習犯で、70歳を超えてからチューリング賞とノーベル賞を連続受賞した。
2012 年 12 月、AI のゴッドファーザーであるジェフリー ヒントンはハラーズ カジノへ向かいました。彼の旅行の目的は、従業員が 3 人しかいなかった新しく設立したディープラーニング会社 DNNresearch を売却することでした。製品も事業も持たず、設立して数か月しかない「ペーパーカンパニー」を売却することは可能だが、息子の治療のために多額の資金を調達しなければならない。これは彼にとって最高のチャンスだ。
同時に、Baidu、Google、Microsoft、DeepMind の 4 つのテクノロジー企業も代表者を派遣しました。彼らの旅行の目的は、この「より新しい」企業を買収することだけではありませんでした。 。 会社、それは、会社を支えている 3 人の従業員、ヒントンと彼の 2 人の生徒、イリヤ・サツケヴァー氏とアレックス・クリジェフスキー氏を「パッケージ化して獲得する」ことでした。
オークションのわずか 2 か月前に、ヒントンのチームが提案したディープ畳み込みニューラル ネットワーク AlexNet が ImageNet 画像認識チャレンジで優勝しました。AlexNet は、これまで一般的に使用されていた浅い学習とは異なり、大量のデータを分析することで画像分類などの新しいスキルを学習できる脳のようなニューラル ネットワークを構築し、それを「ディープ ラーニング」と呼んでいます。衝撃的なことに、AlexNet の出現により、画像分類エラー率が 9.4% 直接減少しました (2011 年のチャンピオンは、2010 年と比較して 1.4% 減少しただけです)。このテクノロジーは、コンピューター ビジョン、チャット ロボット、自動運転、およびインテリジェントなレコメンデーションを実際に変えるだけではありません。 -時間変換、さらには医薬品設計、医療診断、材料開発、気象予測などの分野でも影響を受ける可能性があります。
この成果の背後にある大きな可能性を痛感して、これら 4 社は結集しました。 DeepMind は設立して 2 年目で、テクノロジー大手と競争することができなかったため、すぐにオークションから撤退しました。入札価格が上昇し続ける中、マイクロソフトは撤退した。価格が 4,400 万ドルに達したとき、ヒントンは入札を中止しました。彼は学者であり、起業家ではありません。彼の研究課題に適した場所を見つけるのは彼次第です。結局、Googleへの会社売却が決定し、同時に3人の師匠と弟子もGoogleに入社した。
「これに先立って、ディープラーニングは依然として象牙の塔の中で純粋に学術研究として行われており、多くのテクノロジー企業によって真剣に受け止められていませんでした。この秘密入札イベントが正式にディープラーニング業界変革の号砲を鳴らしました。」当時、Baiduを代表してオークションに参加したHorizonの創設者兼CEOでBaidu Deep Learning Laboratoryの元ディレクターであるYu Kai氏は、このようにコメントした。
ニューラルネットワークの予備調査、AIの権威ミンスキーに挑戦
現在、私たちが経験している人工知能ブームは深層学習技術の大きな進歩から始まったと一般に信じられており、この過程において、ヒントンは間違いなく最も広く認識されている「AI のゴッドファーザー」です。結局のところ、ヒントンは個人の研究を核にして時代の技術発展を直接リードできる人はほとんどいませんが、その過程は60年近くかかりましたが、彼は生涯の短い期間で画期的なことを成し遂げました。成果。
ヒントンは1947年12月、イギリスのロンドンで「天才一家」に生まれた。彼の母方の曽祖父であるジョージ・ブールは数理論理学の先駆者であり、ブール代数とブール論理は彼の名にちなんで名付けられました。彼の曽祖父であるチャールズ・ヒントンは数学者であることに加えて、有名な SF 作家でもありました。彼の父親、ハワード・ヒントンは、王立協会の会員に選出され、有名な昆虫学者であり、彼のいとこであるジョアン・ヒントンは、中国からグリーンカードを受け取った最初の国際的な友人であり、原子核物理学者の一人であり、アメリカ初の原子爆弾。
そんな家庭に生まれたヒントンは、もともと頭が良くて機知に富んでいるのですが、それは心の中に自分の考えや意見が多すぎるからかもしれません。伝統的な教育制度はヒントンにとって適応するのを難しくしており、彼の学業人生には多くの紆余曲折があったようです。
ヒントンは学部生としてケンブリッジのキングス・カレッジに入学し、そこで物理学と化学を学びましたが、1か月後に中退しました。 1年後、建築学科で一日授業を受けた後、物理学と生理学への転向を決意し、再び中退した。その後哲学に転向するが、またも途中で断念。最終的に彼は心理学を学ぶことを選択し、1970 年にヒントンはついに実験心理学の学士号を取得しました。
この教育経験は今日の学術指導者にとって決して輝かしいものではなく、ヒントンはかつて「私は一種の教育的ADHDを持っていて、静かに勉強することができないのかもしれない」と自嘲したほどである。しかし、18歳の若者にとって、果敢に挑戦し失敗することはある種の勇気でもあり、自分に向いていない科目を選別した上で、ヒントンは最終的に自分の将来の方向性を決定しました - 機械に人間の脳をシミュレートさせることです それから数十年、数え切れないほどの人々の疑問に直面しても、ヒントンは決して変わりませんでした。
ヒントンが脳に興味を持ち始めたのは高校生の頃でした。「ある友人が、脳はホログラムのように機能し、ニューロンのネットワークを介して記憶の断片を保存していると教えてくれました。その言葉に本当に興奮しました。」しかし、当時は脳について詳しく知っている人は誰もおらず、ケンブリッジ大学の教師でさえ彼に答えを与えることができませんでした。研究に戸惑ったのか、ヒントンは大学卒業後、大工になる道を選んだ。 「私は昔から大工仕事が好きでした。建築家になれたらもっと幸せになれるのではないかとよく考えます。科学研究では、いつも自分自身を強制しなければなりません。家庭の事情で成功する必要があります。そこには喜びもありますが、それ以上に重要なことはあります。」不安。"
「しかし、本当に優秀な大工さんに出会って、自分はこの業界には向いていないことにすぐに気づきました。当時、石炭会社がその大工さんに、特殊な環境を考慮して、暗くて湿った地下室用のドアを作ってほしいと依頼しました。彼は、湿気による膨張による木材の変形を相殺するために、木材を逆方向に配置しました。彼は、手鋸で木材を正方形に切断することもこれまで思いつきませんでした。ひどすぎるよ！ 人工知能を学ぶために学校に戻ったほうがいいかもしれない。」数年後、なぜ学術界に戻ったのか尋ねられたとき、ヒントンは次のように答えた。
注目に値するのは、大工になった頃、ヒントンは脳を探求するという考えを決して諦めず、毎週図書館に通って脳の仕組みを独学し、最終的にはニューラルネットワークが存在することを確信したということです。彼が追求すべき「道」。その後、ヒントンは父親が教えていた大学で心理学の短期職に就き、それを出発点として 1972 年にイギリスのエディンバラ大学の人工知能プロジェクトに参加しました。彼の指導者クリストファー ヒギンズは、脳と人工知能の新しい分野 非常に興味深く、これはヒントンの考えと一致します。
しかし、入学直前にクリストファー・ヒギンズが突然反乱を起こした。人工ニューラル ネットワークを使用して、コンピューターが人間の脳の記憶と思考をシミュレートできるようにすることは、当時、信じられないことだと考えられていました。その理由は、ヒントンの指導者がニューラル ネットワークがまったく役に立たないと考えていたためです。それは、人工知能の創始者の一人であるマービン・リー・ミンスキーが、当時ニューラルネットワークに関する本「パーセプトロン」を書き、その中でニューラルネットワークに死刑を宣告したからです。彼は次のように指摘しました: 単層ニューラル ネットワークは表現能力が限られており、単純な問題しか解決できません。多層ニューラル ネットワークは複雑な問題を解決できるかもしれませんが、訓練することができず、どちらも行き止まりです。
クリストファー・ヒギンズは確信したが、ヒントンは「他の人は皆間違っていた。脳は巨大なニューラルネットワークである。ニューラルネットワークは私たちの脳内で機能するため、可能であるに違いない。ニューラルネットワークの不十分さはミンスキーによって数学的に証明されている。」と主張した。これは変更できませんが、多層ニューラルネットワークを学習できないという問題は本当に解決できないのでしょうか?ヒントンはここから新たな道を見つけることにした。残念ながら、1978 年にエディンバラ大学で博士号を取得して卒業するまで、この問題の解決策はまだ見つかりませんでした。
「メンターと私は週に一度会っていましたが、時には大声で口論になることもありました。彼は私に、ニューラル ネットワークに時間を無駄にするのはやめろと何度も言いました。私は彼に、あと 6 か月猶予してくださいと言いました。ニューラル ネットワークが効果的であることを私は間違いなく証明します」は効果があるので、6か月後、卒業するまで同じことをもう一度言います」と、何年も後にインタビューされたとき、ヒントンは冗談を言いました。
ディープラーニングの台頭
「卒業は失業を意味する。」 この点はヒントンに深く反映されています。当時、人工知能は寒い冬の時期にありました。人工知能研究の進捗状況を調査した結果、英国の関係者は、ほとんどの人工知能が当初の期待を実現していないこと、つまり、この分野での成果が期待されていないことを発見しました。いわゆるメジャーインパクト。その結果、政府は投資を削減し始めましたが、同時にニューラル ネットワークは人工知能の一部にすぎず、当然のことながら疎外されました。
そこでヒントンは海外に目を向け始めましたが、南カリフォルニアに自分と同じ考えを持つ少数の人々がいることに驚きました。 「アメリカの学術界では、さまざまな視点が認められています。ここでは、ニューラルネットワークに取り組んでいることを他の人に話せば、彼らは耳を傾けてくれるでしょう。」
1981年、カーネギーメロン大学教授のスコット・ファールマン氏は学会でヒントン氏に会い、ヒントン氏を採用するというアイデアを思いついたが、ファールマン氏はニューラルネットワークは「クレイジーなアイデア」だと考えていたが、他の研究も行われている。人工知能の分野も同様にクレイジーです。いずれにせよ、ヒントンはついに「型破りな研究」の足がかりを見つけた。
入社後、ヒントンはより優れた高速なコンピュータ ハードウェアを手に入れ、そのおかげで彼のアイデアの多くを実現することができました。 1986 年に、彼は有名な論文「逆伝播誤差による表現学習」を Nature 誌に発表し、多層ニューラル ネットワークをどのように訓練するかという問題を最終的に解決しました。バックプロパゲーションは深層学習の基礎であると考えられていますが、この論文は現在 55,000 回以上引用されていますが、当時は話題になりませんでした。 「必要な計算リソースとサンプルサイズを完全に見誤っていた」とヒントン氏はインタビューで語った。多層ニューラルネットワークは、多数のトレーニングサンプルからパターンを学習し、未知の事象について予測することができますが、当時のコンピューターではそのような膨大なデータを処理することができず、特定のアプリケーションで実用化するのに長い時間はかかりませんでした。同じ分野の他の学者に、ニューラル ネットワークの代替案に注目してもらいたいと思います。
論文「誤差の逆伝播による表現の学習」の原文:
https://www.nature.com/articles/323533a0
当時の米国の政治環境を懸念して、妻のロスは1987年にカナダに移住することを提案し、ヒントンはカーネギーメロン大学を辞め、すぐにトロント大学に入学した。そして娘。ロスは残念ながら 1994 年に卵巣癌で亡くなりましたが、科学研究のプレッシャーにさらされていた一方で、彼には 6 歳未満の子供が 2 人いたため、あまり悲しむ暇はありませんでした。さらに悪いことに、彼の息子は注意欠陥多動性障害（ADHD）を患っており、ヒントン自身も腰椎の問題を抱えていました。
「この仕事は続けられないと思ったことも何度もありました。」
しかし、ヒントンは最後まで粘り強く取り組み、カナダ政府からの資金提供を受けて、ニューラル ネットワークに固執する研究者向けに「ニューラル コンピューティングと適応知覚」セミナーを毎年開催しています。ここで皆さんが意見を交換できることを願っています。注目すべきは、Yang Likun と Bengio もメンバーであり、この 3 人は「深層学習のビッグ 3」と呼ばれ、2018 年のチューリング賞を共に受賞しています。
その後長い間、ヒントンはニューラル ネットワークの研究に集中し、100 を超える論文を発表し、徐々に人工知能の分野の達人に成長しました。しかし、ニューラル ネットワークに対する世間の偏見を広く変えることはできませんでした。彼は、多層ニューラル ネットワークのトレーニングが困難であるという問題を解決しなければ、ニューラル ネットワークには未来がないという人々の見方を覆すことはできないことを理解していました。
ヒントンの Google Scholar:
https://scholar.google.com/citations?user=JicYPdAAAAAJ&hl=en
2006年、ヒントンは「深い信念ネットワークに基づく高速学習法」という論文を発表した。, 当時の多くの雑誌やジャーナルがタイトルにニューラルネットワークという単語を含む論文を拒否したため、ヒントンは多層ニューラルネットワークの代わりにディープラーニングを使用し、その論文が掲載されました。論文で言及されている深い信念ネットワークの各層は、「制限付きボルツマン マシン」で積み重ねられており、教師なし学習を通じて層ごとに事前トレーニングした後、ネットワークの深さが増すにつれて、それに応じてモデルのパフォーマンスが向上することをヒントンは発見しました。アプリケーションの効果がネットワーク層の数と正の相関がある場合、多層ニューラル ネットワークの可能性が最終的に認識されます。
元の論文「深い信念ネットのための高速学習アルゴリズム」:
https://direct.mit.edu/neco/article-abstract/18/7/1527/7065/A-Fast-Learning-Algorithm-for-Deep-Belief-Nets
6 年間の計画を経て、2012 年にヒントンは 2 人の学生と協力して、ディープ ニューラル ネットワーク AlexNet を画期的に設計しました。このネットワークは ImageNet 画像認識コンテストでデビューし、すべての対戦相手を直接粉砕しました。さらに衝撃的なのは、1 週間のトレーニング中にチームが使用したのは 4 つの NVIDIA GPU だけだったということです。それ以来、ディープラーニングの 3 つの欠点であるアルゴリズム、計算能力、データがついに完成されました。浅い学習アルゴリズムも今回のコンテストでは姿を消しました。言及する価値があるのは、Google チームもこのコンテストに参加しており、そのため、前述のオークションで何としてでもヒントンを採用したのです。
ヒントンの父親はかつて彼にこう言った、「十分に努力すれば、おそらく私の年齢の 2 倍になれば、私の成果の半分を達成できるでしょう。」 それで今、ヒントンはよく、AlexNet 論文の引用数は 2006 年よりはるかに多いと言っています。父の書類のどれか。 AlexNet がコンピューティングの歴史の中で最も影響力のある論文の 1 つであることは疑いの余地がありません。その出現はディープ ラーニングの転換点であるだけでなく、世界のテクノロジー業界の転換点でもあります。この事件の後、Google、Microsoft、Apple、Nvidia を筆頭とするテクノロジー大手は、ディープラーニングへの戦略的投資を増やし、インテリジェントなレコメンデーション、画像認識、リアルタイム翻訳、さらには医薬品設計、医療診断、材料開発にもディープラーニングを利用しました。 、天気予報、海洋環境モデリングなど、AI技術はさまざまな産業に大きな影響を与え始めています。
学術からビジネスまで、医療分野におけるディープラーニングの応用に注力
ヒントンは、学生たちと離れることを望まなかったため、Google に入社した後もトロント大学の教授職を維持したことは注目に値します。ヒントン氏は今年のノーベル賞のスピーチで、「私よりも賢く、物事をうまくやり遂げ、後に大きな成功を収めた学生がたくさんいることがとても幸運だ」と語った。元 OpenAI チーフサイエンティストのイリヤ・サツケヴァー氏、元 Apple AI ディレクターのルスラン・サラキットディノフ氏、メタのチーフサイエンティストであるヤン・リクン氏、スタンフォード大学教授のアンドリュー・ン氏は皆、ヒントン氏のお気に入りの生徒だ。彼の教え子であるジョージ・ダールは、重要な論文や研究者を見るたびに、ヒントンとの直接的または間接的なつながりを見つけるだろうと語った。実際に経験してみると、後者だと思います。」
事実は、ヒントン氏が Google の副社長兼研究者としての在任中、研究資金の心配をする必要がなくなっただけでなく、オープン プラットフォームにより開発の余地が広がったことを、Google に入社するという正しい選択をしたことを証明しています。同時に、大手メーカー間の「人材争奪戦」において、Googleは再び行動を起こし、DeepMindを買収し、2014年にAlphaGoをリリースし、AI分野におけるリーダー的地位を急速に確固たるものとした。
*AlphaGo は、高度なツリー検索とディープ ニューラル ネットワークを組み合わせて、囲碁のゲームで初めて人間のプロ プレイヤーに勝利します。
さらに、Google の既存製品（検索エンジン、画像認識、言語処理、パーソナライズされたレコメンデーションなど）に最先端のテクノロジーを適用するだけでなく、ディープラーニングは、人々の日常生活で最も困難な問題を解決するためにも適用されています。医療健康の分野では、Google は糖尿病、乳がん、肺疾患、心血管疾患を検出するための AI システムを開始しました。これらのテクノロジーの応用により、病気の早期診断率が向上するだけでなく、患者に次のようなサービスが提供されることが期待されています。より個別化された治療計画。
ディープラーニングが大量のデータを処理することで、基礎科学研究の発展を加速できることは疑いの余地がありません。しかし、ヒントン氏にとって、ヘルスケアにおける AI の応用は特に魅力的です。彼の個人的な業績のほとんどは、新しいアルゴリズムやモデルの導入であり、AI を使用した病気の予測は、彼が直接関わっている数少ないアプリケーションの 1 つです。これは彼の個人的な経験に由来しているのかもしれません。最初の妻ロスは卵巣癌で亡くなり、現在の妻ジャッキーも膵臓癌と診断されました。彼は、「早期診断は簡単な問題ではありません。私たちはもっと改善できるはずです。なぜ機械に助けてもらえないのでしょうか?」と信じています。
現在、私たちが人工知能と呼んでいるもののほとんどは深層学習です。プリンストン大学の計算心理学者ジョン・コーエンは、すべての深層学習の基礎はバックプロパゲーションであると信じていますが、ヒントンはこれに疑問を呈しています。 2017年10月、ヒントン氏はトロントで開催されたAIカンファレンスで、逆伝播アルゴリズムは脳の動作方法ではないと公に述べ、過去数十年にわたる自身の研究を覆した。そしてその後、新しいニューラル ネットワーク アーキテクチャである Capsule Network CapsNet を提案しました。
論文「カプセル間の動的ルーティング」の原文:
https://arxiv.org/abs/1710.09829
ディープ ネットワークと比較して、カプセル ネットワークの利点は、トレーニングがより速く、より正確で、必要なデータが少ないことです。 Capsule の理論研究はまだ初期段階にあり、解決する必要のある問題がまだ多くありますが、ヒントン氏はまだ自分自身を信じています。「カプセル理論は正しいに違いなく、失敗は一時的なものにすぎません。」彼の論文「ダイナミック ルーティング」。今回は、カプセルネットワークが数十年の無関心を経験するかどうか、このAIゴッドファーザーが再びディープラーニングの歴史を書き換えることができるかどうかを見守ります。
AIが人間をコントロールするかもしれない
ChatGPT の誕生以来、AI の学習と研究が世界的に急増しています。主要な Web サイト上の AI 関連コンテンツは目に見えて増加しており、基本モデルの開発と AI ツールの構築に専念する数百の新興企業が市場に殺到しています。
AI チップとインフラストラクチャの主要サプライヤーである NVIDIA を例に挙げると、同社が開発する GPU は、一時には Apple や Microsoft をも上回りました。これは、AI の急速な発展を直感的に反映しています。テクノロジーを反映します。
しかし、外の世界がAIがあらゆるものに力を与えることができると「宣伝」し続ける中、ヒントンは再び例外となった――「AIは人間の安全保障を脅かすだろう」。
第二次世界大戦中にマンハッタン計画を主導した「原爆の父」J・ロバート・オッペンハイマーは、かつて苦々しくこう語った。しかし、原爆は明らかにこの目標から逸脱しました。初めての原爆実験の終末的な光景を目の当たりにした彼らは、成功の喜び以上に将来への恐怖と不安を感じた。
同様の懸念がヒントンにも生じます。 2024年、ノーベル賞が発表されたときのライブ中継中に、彼はかつてこう語った。「罪悪感と後悔を感じている。私たちよりも賢いAIシステムが、最終的にはすべてを制御してしまうのではないかと心配している」。
さまざまな本や政治的陰謀から学ぶことで、AI は人々を説得するのが非常に上手になる可能性があり、適切な監視がなければ、人間を予測不能な行動に「操作」する可能性があります。これがヒントンの最大の懸念です。例えば、人間がAIに気候変動を抑制するよう指示すると、AIはその目的を達成するために人間を排除する措置を講じる可能性がある。ヒントン氏は「電源を切るだけでAIの暴走を防ぐことができると言う人は多いが、人間の知性を超えたAIは言語を通じて人間を操作し、電源を切らないように説得しようとする可能性がある」と考えている。
AI の安全性の問題についてより自由に議論するため、ヒントン氏は 2023 年 5 月に Google を退職しました。「ジェフ・ディーンは私を引き留めようとしましたが、私は彼の申し出を断りました。たとえ明確な制限がなかったとしても、もし私がまだGoogleのメンバーであったなら、話す際には会社の利益を考慮しなければならないでしょう。」
AI のセキュリティ リスクに最初に気づいた人の 1 人であるヒントンは、かつて、より多くの人にこの問題に注目してもらうにはどうしたらよいか悩んでいました。彼の同僚や学生たちは、メディア プラットフォームとその影響力を利用して、一般の人々に AI の安全性に注意を払うよう呼びかけることを提案しました。したがって、Googleを辞めた後、この控えめな学者は頻繁にメディアのインタビューを受けるようになり、ソーシャルプラットフォームで積極的に発言するようになりました。興味深いことに、一部のメディアは、より多くの人々の注目を集めるためにヒントン氏の発言を意図的に誇張し、Google に関する否定的な情報を伝えるよう彼に誘導しようとしたこともありました。これに対し、ヒントン氏は「反乱」に焦点を当て、ソーシャルメディア上で公に直接反応することを選択した。
幸いなことに、ヒントンの努力は無駄ではありませんでした。現在、多くの専門家がヒントン氏の懸念を支持しており、一部のテクノロジー企業もAIの透明性と説明可能性を探求し始めており、国際社会もAIに対する合理的なルールを設定することを期待して積極的に協力している。
AI の潜在的なリスクに注意を払うことに加えて、ヒントンは大規模なモデルのトレーニングのエネルギー消費の問題にも特別な注意を払っています。大規模な AI モデルのトレーニングには通常、大量の電力が消費されることが知られており、特に化石燃料に依存している地域では、この消費により大量の二酸化炭素が排出され、人間社会を危険にさらす可能性もあります。今年6月、ヒントン氏は、2024年4月に設立された人工知能スタートアップ企業CuspAIに入社したと発表した。CuspAIは、気候変動と戦うための新素材の開発に生成AIを活用することに重点を置いている。 「気候変動を抑制するためにAIを通じて新材料の設計を加速するというCuspAIの使命に感銘を受けました」とヒントン氏は語った。
高校生のときに脳の仕組みを探るというアイデアから、実際の研究で無数の疑問に直面するまで、ヒントンは 30 年以上も学界の端に留まりながらも、常に自分の考えを主張し、最終的には勝利を収めました。ニューラルネットワークにおける先駆的な功績を讃えられ、チューリング賞、ノーベル物理学賞などを受賞。しかし、ディープラーニングの父、AI のゴッドファーザーとして知られるこの科学者は、自身のキャリアが「ピーク」に達しようとしていたときに突然自分自身に疑問を持ち始め、AI の安全性について公然と懸念を表明し、人類の持続可能な発展を主張しました。社会。
現在、ヒントン氏は 77 歳であり、依然として科学の最前線で活躍しており、AI の開発を促進しながら、技術革新、倫理、社会的責任のバランスに注意を払うよう私たちに呼びかけています。彼の経験は単なる歴史の伝説ではありません。科学の基礎を築き、数え切れないほど後発者たちに前進を続けるよう促しました。