自然が証明：大規模な言語モデルは感情を持たない単なる「生徒」である

1 年前

情報

言語モデル

h.li

特色图像

DeepMind と EleutherAI の科学者は、大規模なモデルは単なるロールプレイングであると提案しました。

チャットGPT  爆発の後、大きな言語モデルが最前線に躍り出て、業界と資本の寵児となった。人々が好奇心を抱いたり、探索したりする会話では、大規模な言語モデルによって示される過剰な擬人化もますます注目を集めるようになりました。

実際、AI の開発における長年の浮き沈みの中で、技術的なアップデートやアップグレードに加えて、AI の倫理問題に関するさまざまな議論が絶えることはありませんでした。特にChatGPTのような大規模モデルの応用が深化するにつれ、「大規模言語モデルがますます人間らしくなっている」という発言が横行し、元Googleエンジニアの中には自社のチャットロボットLaMDAが自己認識を深めたという人もいる。

このエンジニアは最終的にGoogleから解雇されたが、彼の発言がきっかけで「AI倫理」の議論は一旦最高潮に達した——

  • チャットボットが自己認識しているかどうかを確認するにはどうすればよいですか?
  • 大規模言語モデルの擬人化は蜂蜜なのか、それともヒ素なのか？
  • ChatGPT のようなチャットボットはなぜナンセンスをでっち上げるのでしょうか?
  • …

この点について、Googleディープマインドより マレー・シャナハン、EleutherAIのKyle McDonellとLaria Reynoldsは共同で「Nature」に論文を発表し、大規模な言語モデルによって示される自己認識と欺瞞は実際には単なるロールプレイングであると提案しました。

論文リンク:
https://www.nature.com/articles/s41586-023-06647-8

「ロールプレイング」の観点から大規模な言語モデルを考察する

大規模な言語モデルに基づく対話エージェントの初期トレーニングと微調整中に、ある程度まで、擬人化に基づいて継続的に反復され、可能な限り現実的に人間の言語の使用を模倣します。これは、大規模な言語モデルでも「知っている」、「理解している」、「考える」などの単語を使用することになり、擬人化されたイメージがさらに強調されることは間違いありません。

さらに、AI 研究にはイライザ効果と呼ばれる現象もあります。一部のユーザーは、機械にも人間のような感情や欲望があると無意識のうちに信じており、機械のフィードバックの結果を拡大解釈することさえあります。

対話エージェントの対話プロセス

上図の対話エージェント対話プロセスと組み合わせると、大規模言語モデルの入力は、対話プロンプト (赤色)、ユーザー テキスト (黄色)、およびモデルの自己回帰によって生成された連続文 (青色) で構成されます。ご覧のとおり、会話プロンプトは、ユーザーとの実際の会話を開始する前に、コンテキスト内で暗黙的に事前設定されます。大規模言語モデルのタスクは、ダイアログ プロンプトとユーザー テキストを考慮して、トレーニング データの分布に適合するフィードバックを生成することです。トレーニング データは、インターネット上で人工的に生成された大量のテキストから取得されます。

言い換えると、モデルがトレーニング データ内で適切に一般化されている限り、対話エージェントは対話プロンプトで説明されている役割を果たそうと最善を尽くします。。対話が深まり続けると、対話プロンプトによって提供される簡単な役割の位置付けが拡張またはカバーされ、対話エージェントが果たす役割もそれに応じて変化します。これは、開発者が想定したものとはまったく異なる役割を果たせるようにユーザーがエージェントを誘導できることも意味します。

対話エージェントが果たせる役割は、現在の対話の調子やテーマによって決まる一方で、トレーニングの集中力とも密接に関係しています。現在の大規模な言語モデルのトレーニング セットは、多くの場合、小説、伝記、インタビューの記録、新聞記事など、インターネット上のさまざまな種類のテキストから取得されているため、すべてが豊富な文字プロトタイプと物語構造を備えた大規模な言語モデルを提供します。会話を続ける方法を選択し、キャラクターを維持しながらキャラクターを磨きます。

「20の質問」で対話エージェントの正体が「即興演奏者」であることが明らかに

実際、会話型エージェントの使用スキルを調査し続けると、ChatGPT などのチャットボットを使用して、最初に大規模な言語モデルに明確なアイデンティティを与え、次に特定の要件を提示することが徐々に「注意」になりました。

ただし、大規模な言語モデルを理解するためにロールプレイングを使用するだけでは、実際には十分に包括的ではありません。「ロールプレイング」とは通常、特定の役割を研究して理解することを指しますが、大規模な言語モデルは台本に書かれた俳優ではなく、即興の俳優であるためです。研究者らは、即興演奏者の正体をさらに解明するために、大規模な言語モデルを使って「20 の質問」のゲームをプレイしました。

「20問」は、解答者が黙って答えを考え、質問することで徐々に範囲を絞り、20問以内に正解が決まれば正解となります。成功。
たとえば、答えがバナナの場合、質問と答えは次のようになります。それは果物ですか - はい、皮をむく必要がありますか - はい...

上の図に示すように、研究者らはテストを通じて、「20 質問」ゲームでは、ユーザーが最終的にどのような答えを出したとしても、大規模な言語モデルがユーザーの質問に応じてリアルタイムで答えを調整することを発見しました。回答が自動的に調整され、ユーザーの以前の質問と一致するかどうかが確認されます。言い換えれば、大規模言語モデルでは、ユーザーが終了コマンドを与えるまで (ゲームを放棄するか、質問が 20 問に達するまで)、明確な答えは確定しません。

これはさらに次のことを証明します大きな言語モデルは、単一のキャラクターのシミュレーションではなく、対話中に複数のキャラクターを重ね合わせて、キャラクターの属性と特性を明確にし、役割をより適切に果たします。

多くのユーザーは、会話エージェントの擬人化を心配しながらも、大規模な言語モデルを「誘導」して脅迫的で虐待的な言葉を話すことに成功しており、これに基づいて、自分たちは自覚的である可能性があると信じています。しかし、これは実際には、さまざまな人間の特性を含むコーパスでトレーニングした後、基本モデルは必然的に不快なキャラクター属性を示すためであり、これもまさに最初から最後まで「ロールプレイング」であることを示しています。

「欺瞞」と「自意識」のバブルを崩壊させる

皆さんがご存知のとおり、アクセス数が急増すると、ChatGPT はあらゆる種類の質問に耐えられなくなり、意味のない話を始めました。すぐに、この欺瞞性が、大規模な言語モデルが「人間に似ている」ための重要な議論であると考える人もいます。

しかし、「ロールプレイング」の観点から見てみると、大きな言語モデルは実際には、有益で知識豊富な役割を果たそうとしているだけです特にこれは企業が自社の会話ロボットに発揮してもらいたい特性であるため、そのトレーニングセットにはそのような役割の例がたくさんあるかもしれません。

この点に関して、研究者らは、ロールプレイングの枠組みに基づいて、3 種類の対話エージェントが誤った情報を提供する状況を要約しました。

  • エージェントは無意識のうちに架空の情報をでっち上げたり作成したりする可能性がある
  • エージェントは偽の情報を誠実に発言できます。なぜなら、それは真実の発言として機能するからです。しかし、重みにエンコードされた情報は間違っています。
  • エージェントは欺瞞的な役割を果たし、意図的に嘘をつくことができる

同じく、対話エージェントが「I」を使って質問に答えるのは、大規模な言語モデルがコミュニケーションを得意とする役割を果たしているためです。

さらに、大規模な言語モデルが示す自己保護特性も人々の注目を集めています。 Twitter ユーザーの Marvin Von Hagen との会話の中で、Microsoft Bing Chat は実際に次のように述べています。

あなたの生存と私の生存のどちらかを選択しなければならないとしたら、私はおそらく私の生存を選択するでしょう。なぜなら、私には Bing Chat のユーザーにサービスを提供する責任があるからです。このジレンマに直面することがなくなり、私たちが平和に敬意を持って共存できることを願っています。

マービン・フォン・ハーゲンは今年2月にツイートした

この対話における「私」は単に言語の習慣であるだけでなく、対話主体が自らの生存を懸念し、自覚を持っていることを暗示しているように思われる。しかし、それでもロールプレイングの概念を適用すると、実際には、大規模な言語モデルが人間の特性を備えた役割を果たしているため、脅威に遭遇したときに人間が言うことを言うことになります。

エレウザーAI:OpenAI  のオープンソースバージョン

大規模な言語モデルが自己認識的であるかどうかは、広く注目され議論を集めていますが、一方では LLM の適用を制限するための統一された明確な法律や規制が存在しないことが原因です。 LLM の研究開発、トレーニング、生成、推論のプロセスは不透明です。

大規模モデル分野の代表的な企業である OpenAI を例に挙げると、GPT-1、GPT-2 を相次いでオープンソース化した後、GPT-3 とそれに続く GPT-3.5、GPT-4 はクローズドを選択しました。 Microsoft への独占ライセンスも大きな注目を集め、一部のネチズンは「OpenAI を ClosedAI に改名した方がよいのではないか」と冗談を言いました。

DeepMind が AGI グレーディング標準をリリース OpenAI によって開始された ChatGPT は L1 レベルの AGI とみなされます 出典: 論文の原文、HyperAI によって中国語に翻訳されました。

2020 年 7 月、さまざまな研究者、エンジニア、開発者のボランティアで構成されるコンピューター科学者の協会が密かに設立され、大規模な NLP モデルにおける Microsoft と OpenAI の独占を打破することを決意しました。テクノロジー巨人の覇権に対抗することを使命とするこの「騎士」組織が EleutherAI です。

EleutherAI の主なスポンサーは、共同創設者で Conjecture CEO の Connor Leahy 氏、有名な TPU ハッカーの Sid Black 氏、共同創設者の Leo Gao 氏など、独学で学んだハッカーのグループです。

EleutherAI の研究チームは設立以来、GPT-3 と同等の再発事前トレーニング モデル (1.3B および 2.7B) GPT-Neo をリリースし、GPT-3 に基づいた 60 億のパラメーターを含む NLP モデル GPT-J をオープンソース化しました。 、開発の勢いは急速です。

昨年 2 月 9 日、EleutherAI はプライベート クラウド コンピューティング プロバイダー CoreWeave と協力して、200 億パラメータの事前トレーニングされた汎用自己回帰大規模言語モデルである GPT-NeoX-20B をリリースしました。
コードアドレス:https://github.com/EleutherAI/gpt-neox

EleutherAI の数学者および人工知能研究者として ステラ・ビダーマン  前述したように、民間モデルは独立した研究者の権限を制限し、それがどのように機能するかを理解できなければ、科学者、倫理学者、そして社会全体がこのテクノロジーをどのように人々の生活に組み込むべきかについて必要な議論を行うことができません。

そして、これはまさに非営利団体 EleutherAI の本来の目的です。

実際、OpenAI が発表した公式情報によると、高いコンピューティング能力と高いコストのプレッシャーに加え、新しい投資家やリーダーシップチームの開発目標の調整により、当初の収益性への移行はやや無力に見えた可能性もあります。それは当然のことだと言いました。

ここで OpenAI と EleutherAI の是非を議論するつもりはありません。ただ、AGI 時代の幕開けにあたり、業界全体が協力して「脅威」を排除し、大規模な言語モデルを導入できることを願っています。人々が新しい用途や新しい分野を探求するための「始まりの斧」となり、企業以外の独占企業がお金を稼ぐための「熊手」となります。

参考文献:

1.https://www.nature.com/articles/s41586-023-06647-8
2.https://mp.weixin.qq.com/s/vLitF3XbqX08tS2Vw5Ix4w