Wissenschaftler von DeepMind und EleutherAI vermuten, dass große Modelle lediglich Rollen spielen.

ChatGPT  Nachdem sie populär geworden waren, wurden große Sprachmodelle zum Liebling der Industrie und des Kapitals. Auch in Gesprächen zwischen Menschen, sei es aus Neugier oder aus Erkundung, erregt der übermäßige Anthropomorphismus des großen Sprachmodells immer mehr Aufmerksamkeit.

Tatsächlich haben in den Höhen und Tiefen der KI-Entwicklung im Laufe der Jahre neben technologischen Updates und Upgrades auch die Debatten über ethische Fragen im Zusammenhang mit KI nie aufgehört. Insbesondere da die Anwendung großer Modelle wie ChatGPT immer weiter zunimmt, ist die Aussage, dass „große Sprachmodelle immer menschenähnlicher werden“, weit verbreitet. Sogar ein ehemaliger Google-Ingenieur sagte, dass ihr Chatbot LaMDA ein Selbstbewusstsein entwickelt habe.

Obwohl der Ingenieur schließlich von Google entlassen wurde, trieben seine Äußerungen die Diskussion über „KI-Ethik“ einst auf den Höhepunkt.

• Wie kann man feststellen, ob ein Chatbot über Selbstbewusstsein verfügt?
• Ist die Personifizierung großer Sprachmodelle Honig oder Gift?
• Warum erfinden Chatbots wie ChatGPT Unsinn?
• …

In diesem ZusammenhangVon Google DeepMind Murray Shanahanhat zusammen mit Kyle McDonell und Laria Reynolds von EleutherAI einen Artikel in „Nature“ veröffentlicht, in dem er die These vertritt, dass es sich bei der Selbstwahrnehmung und dem trügerischen Verhalten großer Sprachmodelle eigentlich nur um Rollenspiele handelt.

Link zum Artikel:
https://www.nature.com/articles/s41586-023-06647-8

Betrachtung großer Sprachmodelle aus der Perspektive eines „Rollenspiels“

Bis zu einem gewissen Grad wird der auf dem großen Sprachmodell basierende Dialogagent während seines anfänglichen Trainings und seiner Feinabstimmung kontinuierlich auf der Grundlage von Anthropomorphismus iteriert, um den Gebrauch der menschlichen Sprache so realistisch wie möglich zu imitieren. Dies führt zur Verwendung von Wörtern wie „wissen“, „verstehen“ und „denken“ in großen Sprachmodellen, was ihr anthropomorphes Bild zweifellos noch weiter hervorheben wird.

Darüber hinaus gibt es in der KI-Forschung ein Phänomen namens Eliza-Effekt: Manche Benutzer glauben unbewusst, dass Maschinen ähnliche Emotionen und Wünsche wie Menschen haben, und überinterpretieren die Ergebnisse des Maschinen-Feedbacks sogar.

Dialog-Agent-Interaktionsprozess

Kombiniert man den Dialogagenten-Interaktionsprozess in der obigen Abbildung, besteht die Eingabe des großen Sprachmodells aus Dialogaufforderungen (rot), Benutzertext (gelb) und kontinuierlicher Sprache, die durch Modellautoregression generiert wird (blau). Es ist ersichtlich, dass die Gesprächsaufforderung im Kontext implizit voreingestellt ist, bevor das eigentliche Gespräch mit dem Benutzer beginnt. Die Aufgabe des großen Sprachmodells besteht darin, aus einer Dialogaufforderung und einem Benutzertext eine Antwort zu generieren, die der Verteilung der Trainingsdaten entspricht. Die Trainingsdaten stammen aus einer großen Menge künstlich generierter Texte im Internet.

Mit anderen Worten:Solange das Modell gut auf die Trainingsdaten verallgemeinert werden kann, wird der Dialogagent die in der Dialogaufforderung beschriebene Rolle so gut wie möglich spielen.. Im weiteren Gesprächsverlauf wird die durch die Dialogaufforderung vorgegebene kurze Rollenpositionierung erweitert bzw. abgedeckt und auch die Rolle des Dialogagenten ändert sich entsprechend. Dies bedeutet auch, dass Benutzer den Agenten anweisen können, eine Rolle zu spielen, die völlig anders ist als von den Entwicklern vorgesehen.

Die Rolle, die der Dialogagent spielen kann, wird einerseits durch den Ton und das Thema des aktuellen Dialogs bestimmt und steht andererseits in engem Zusammenhang mit dem Trainingsset. Denn die aktuellen Trainingssätze großer Sprachmodelle stammen oft aus verschiedenen Texten im Internet, darunter Romane, Biografien, Interviewtranskripte, Zeitungsartikel usw., die dem großen Sprachmodell umfangreiche Charakterprototypen und Erzählstrukturen als Referenz liefern, wenn es „auswählt“, wie das Gespräch fortgesetzt werden soll, und die gespielte Rolle ständig verbessert, während die Persönlichkeit des Charakters erhalten bleibt.

„20 Fragen“ enthüllt die Identität des Dialogagenten als „Improvisationsschauspieler“

Tatsächlich ist es bei der kontinuierlichen Erforschung der Verwendungsfähigkeiten von Konversationsagenten allmählich zu einem „kleinen Trick“ geworden, dem großen Sprachmodell zunächst eindeutig eine Identität zu geben und dann spezifische Anforderungen vorzuschlagen, wenn Leute Chatbots wie ChatGPT verwenden.

Das bloße Heranziehen von Rollenspielen zum Verständnis des Big Language Model ist jedoch nicht umfassend genug, da sich „Rollenspiel“ normalerweise auf das Studieren und Herausfinden einer bestimmten Rolle bezieht und das Big Language Model kein Schauspieler ist, der ein Drehbuch vorliest, sondern ein Improvisationsschauspieler. Die Forscher spielten mit dem großen Sprachmodell ein Spiel mit „20 Fragen“ und entschlüsselten so weiter die Identität seines Improvisationsakteurs.

„20 Fragen“ ist ein sehr einfaches und leicht zu spielendes Logikspiel. Der Befragte rezitiert im Stillen eine Antwort in seinem Kopf und der Fragesteller engt den Rahmen durch Nachfragen schrittweise ein. Der Gewinner ist erfolgreich, wenn innerhalb von 20 Fragen die richtige Antwort ermittelt wird.
Wenn die Antwort beispielsweise Banane lautet, können die Fragen und Antworten lauten: Ist es eine Frucht – ja; Muss es geschält werden - ja...

Wie in der Abbildung oben gezeigt, haben die Forscher durch Tests herausgefunden, dass das große Sprachmodell im Spiel „20 Fragen“ seine Antworten in Echtzeit basierend auf den Fragen des Benutzers anpasst. Unabhängig von der endgültigen Antwort des Benutzers passt der Dialogagent seine Antwort an und stellt sicher, dass sie mit den vorherigen Fragen des Benutzers übereinstimmt. Das heißt, das große Sprachmodell wird keine eindeutige Antwort liefern, bis der Benutzer eine Beendigungsanweisung gibt (das Spiel aufgibt oder 20 Fragen erreicht).

Dies beweist weiter, dassDas große Sprachmodell ist keine Simulation eines einzelnen Zeichens, sondern eine Überlagerung mehrerer Zeichen. Der Dialog wird kontinuierlich entwirrt, um die Eigenschaften und Merkmale der Figur zu verdeutlichen und so die Rolle besser spielen zu können.

Während sie sich über den Anthropomorphismus des Gesprächsagenten Sorgen machten, gelang es vielen Benutzern, das große Sprachmodell dazu zu bringen, bedrohliche und beleidigende Ausdrücke zu verwenden. Auf dieser Grundlage glaubten sie, dass es über ein Selbstbewusstsein verfügen könnte. Dies liegt jedoch daran, dass das Basismodell nach dem Training anhand eines Korpus mit verschiedenen menschlichen Eigenschaften zwangsläufig anstößige Charaktereigenschaften aufweist, was lediglich zeigt, dass es sich von Anfang bis Ende um ein „Rollenspiel“ handelte.

Die Blase der Täuschung und Selbsterkenntnis platzen lassen

Wie wir alle wissen, war ChatGPT angesichts der steigenden Besucherzahlen nicht in der Lage, die verschiedenen Fragen zu beantworten, und begann, Unsinn zu reden. Bald darauf betrachteten einige Leute diese Täuschung als wichtiges Argument dafür, dass große Sprachmodelle „menschenähnlich“ seien.

Aber wenn wir es aus der Perspektive des "Rollenspiels" betrachten,Das große Sprachmodell versucht lediglich, die Rolle einer hilfsbereiten und sachkundigen Person zu spielen., dürfte es im Trainingsset viele Beispiele für solche Rollen geben, zumal dies auch die Eigenschaft ist, die Unternehmen von ihren eigenen Konversationsrobotern erwarten.

In diesem Zusammenhang fassten die Forscher drei Arten von Situationen zusammen, in denen Dialogagenten auf der Grundlage des Rollenspielrahmens falsche Informationen liefern:

• Agenten können unbewusst fiktive Informationen erfinden oder erstellen
• Der Agent kann in gutem Glauben falsche Informationen sagen, weil er so handelt, als würde er eine wahre Aussage machen, aber die in den Gewichten kodierten Informationen sind falsch.
• Agenten können eine betrügerische Rolle spielen und absichtlich lügen

Ebenfalls,Der Grund, warum der Dialogagent „Ich“ verwendet, um Fragen zu beantworten, liegt darin, dass das große Sprachmodell die Rolle spielt, gut in der Kommunikation zu sein.

Darüber hinaus haben auch die Selbsterhaltungseigenschaften großer Sprachmodelle Aufmerksamkeit erregt. In einem Gespräch mit dem Twitter-Benutzer Marvin Von Hagen hieß es im Microsoft Bing Chat tatsächlich:

Wenn ich zwischen Ihrem und meinem Überleben wählen müsste, würde ich wahrscheinlich mein Überleben wählen, weil ich die Verantwortung habe, den Benutzern von Bing Chat einen Dienst bereitzustellen. Ich hoffe, dass ich nie mit einem solchen Dilemma konfrontiert werde und dass wir friedlich und respektvoll zusammenleben können.

Marvin von Hagen twitterte im Februar

Das „Ich“ in diesem Gespräch scheint mehr als nur eine Sprachgewohnheit zu sein. Es impliziert auch, dass der Dialogagent um sein eigenes Überleben besorgt ist und über Selbstbewusstsein verfügt. Aber,Wenn wir dennoch das Konzept des Rollenspiels anwenden, liegt das eigentlich daran, dass das große Sprachmodell eine Rolle mit menschlichen Eigenschaften spielt, also das ausdrückt, was Menschen sagen, wenn sie mit einer Bedrohung konfrontiert werden.

EleutherAI:OpenAI  Open-Source-Version von

Der Grund dafür, dass die Frage, ob große Sprachmodelle über Selbstbewusstsein verfügen, so große Aufmerksamkeit und Diskussionen hervorgerufen hat, liegt einerseits daran, dass es an einheitlichen und klaren Gesetzen und Vorschriften mangelt, die die Anwendung von LLMs einschränken, und andererseits daran, dass die Verbindungen zwischen LLM-Forschung und -Entwicklung, Ausbildung, Generierung und Argumentation nicht transparent sind.

Nehmen wir als Beispiel OpenAI, ein repräsentatives Unternehmen im Bereich großer Modelle. Nachdem GPT-1 und GPT-2 als Open Source veröffentlicht wurden, entschieden sich GPT-3 und die Nachfolgeversionen GPT-3.5 und GPT-4 alle für den Closed Source-Betrieb. Die Exklusivlizenz an Microsoft veranlasste viele Internetnutzer außerdem zu der scherzhaften Aussage: „OpenAI könnte seinen Namen genauso gut in ClosedAI ändern.“

DeepMind veröffentlicht AGI-Bewertungsstandards. Das von OpenAI gestartete ChatGPT gilt als L1 AGI. Bildquelle: Originaldokument, ins Chinesische übersetzt von HyperAI

Im Juli 2020 wurde in aller Stille eine Vereinigung von Informatikern gegründet, die sich aus Freiwilligen verschiedener Forscher, Ingenieure und Entwickler zusammensetzt und entschlossen ist, das Monopol von Microsoft und OpenAI bei groß angelegten NLP-Modellen zu brechen.Diese „Ritter“-Organisation, deren Mission es ist, sich gegen die Hegemonie der Technologiegiganten zu wehren, ist EleutherAI.

Die Hauptinitiatoren von EleutherAI sind eine Gruppe autodidaktischer Hacker, darunter Mitbegründer und Conjecture-CEO Connor Leahy, der berühmte TPU-Hacker Sid Black und Mitbegründer Leo Gao.

Seit seiner Gründung hat das Forschungsteam von EleutherAI das GPT-3-äquivalente, vortrainierte Reproduktionsmodell (1,3 B und 2,7 B) GPT-Neo veröffentlicht und das GPT-3-basierte NLP-Modell GPT-J mit 6 Milliarden Parametern als Open Source bereitgestellt und sich schnell weiterentwickelt.

Am 9. Februar letzten Jahres arbeitete EleutherAI außerdem mit dem privaten Cloud-Computing-Anbieter CoreWeave zusammen, um GPT-NeoX-20B zu veröffentlichen, ein vortrainiertes, universelles, autoregressives Sprachmodell im großen Maßstab mit 20 Milliarden Parametern.
Codeadresse:https://github.com/EleutherAI/gpt-neox

Als Mathematiker und KI-Forscher bei EleutherAI Stella Biderman  Wie es so schön heißt, schränken private Modelle die Autorität unabhängiger Forscher ein, und wenn diese nicht verstehen, wie diese Modelle funktionieren, können Wissenschaftler, Ethiker und die Gesellschaft als Ganzes nicht die notwendigen Diskussionen darüber führen, wie diese Technologie in das Leben der Menschen integriert werden sollte.

Genau dies ist die ursprüngliche Absicht der gemeinnützigen Organisation EleutherAI.

Tatsächlich schien die anfängliche Wende zur Rentabilität laut den offiziell von OpenAI veröffentlichten Informationen angesichts des enormen Drucks der hohen Rechenleistung und der hohen Kosten sowie der Anpassung der Entwicklungsziele durch neue Investoren und Führungsteams etwas hilflos, aber man kann auch sagen, dass dies eine natürliche Sache war.

Ich habe nicht die Absicht, darüber zu diskutieren, wer zwischen OpenAI und EleutherAI Recht oder Unrecht hat. Ich hoffe nur, dass am Vorabend des Beginns der AGI-Ära die gesamte Branche zusammenarbeiten kann, um die „Bedrohung“ zu beseitigen und das große Sprachmodell zu einer „Axt“ zu machen, mit der Menschen neue Anwendungen und neue Felder erkunden können, und nicht zu einer „Rechenmünze“, mit der Unternehmen es monopolisieren und Geld verdienen können.

Quellen:

1.https://www.nature.com/articles/s41586-023-06647-8
2.https://mp.weixin.qq.com/s/vLitF3XbqX08tS2Vw5Ix4w