Les scientifiques de DeepMind et d’EleutherAI suggèrent que les grands modèles ne font que jouer un rôle.

ChatGPT  Après être devenus populaires, les grands modèles linguistiques sont devenus les chouchous de l'industrie et du capital. Dans les conversations entre les gens, que ce soit par curiosité ou par exploration, l’anthropomorphisme excessif dont fait preuve le grand modèle linguistique a également attiré de plus en plus d’attention.

En fait, malgré les hauts et les bas du développement de l’IA au fil des ans, en plus des mises à jour et des mises à niveau technologiques, les débats sur les questions éthiques de l’IA n’ont jamais cessé. D'autant plus que l'application de grands modèles tels que ChatGPT continue de s'approfondir, le dicton selon lequel « les grands modèles de langage deviennent de plus en plus humains » est monnaie courante. Même un ancien ingénieur de Google a déclaré que leur chatbot LaMDA avait développé une conscience de soi.

Bien que l'ingénieur ait finalement été licencié par Google, ses propos ont un jour poussé le débat sur « l'éthique de l'IA » à son paroxysme.

• Comment déterminer si un chatbot a une conscience de lui-même ?
• La personnification des grands modèles linguistiques est-elle du miel ou du poison ?
• Pourquoi les chatbots comme ChatGPT inventent-ils des bêtises ?
• …

À cet égard,De Google DeepMind Murray Shanahan, en collaboration avec Kyle McDonell et Laria Reynolds d'EleutherAI, a publié un article dans « Nature », suggérant que la conscience de soi et le comportement trompeur dont font preuve les grands modèles linguistiques ne sont en fait que des jeux de rôle.

Lien vers l'article :
https://www.nature.com/articles/s41586-023-06647-8

Examiner les grands modèles linguistiques dans une perspective de « jeu de rôle »

Dans une certaine mesure, l'agent de dialogue basé sur le grand modèle de langage est continuellement itéré en fonction de l'anthropomorphisme au cours de sa formation initiale et de son réglage fin, dans un effort pour imiter l'utilisation du langage humain de la manière la plus réaliste possible. Cela conduit à l’utilisation de mots tels que « connaître », « comprendre » et « penser » dans de grands modèles linguistiques, ce qui mettra sans aucun doute davantage en évidence leur image anthropomorphique.

De plus, il existe un phénomène dans la recherche en IA appelé l’effet Eliza : certains utilisateurs croient inconsciemment que les machines ont également des émotions et des désirs similaires à ceux des humains, et surinterprètent même les résultats des retours des machines.

Processus d'interaction de l'agent de dialogue

En combinant le processus d'interaction de l'agent de dialogue dans la figure ci-dessus, l'entrée du grand modèle de langage se compose d'invites de dialogue (rouge), de texte utilisateur (jaune) et d'un langage continu généré par l'autorégression du modèle (bleu). On peut voir que l’invite de conversation est implicitement prédéfinie dans le contexte avant que la conversation réelle avec l’utilisateur ne commence. La tâche du grand modèle de langage est de générer une réponse conforme à la distribution des données d'apprentissage, compte tenu d'une invite de dialogue et d'un texte utilisateur. Les données de formation proviennent d’une grande quantité de texte généré artificiellement sur Internet.

Autrement dit,Tant que le modèle se généralise bien aux données d’entraînement, l’agent de dialogue jouera le rôle décrit dans l’invite de dialogue aussi bien que possible.. Au fur et à mesure que la conversation progresse, le bref positionnement du rôle fourni par l'invite de dialogue sera étendu ou couvert, et le rôle joué par l'agent de dialogue changera également en conséquence. Cela signifie également que les utilisateurs peuvent guider l’agent pour jouer un rôle complètement différent de celui envisagé par ses développeurs.

Quant au rôle que l'agent de dialogue peut jouer, il est déterminé par le ton et le sujet du dialogue en cours d'une part, et est également étroitement lié à l'ensemble de formation d'autre part. Parce que les ensembles de formation de modèles de langage actuels proviennent souvent de divers textes sur Internet, notamment des romans, des biographies, des transcriptions d'entretiens, des articles de journaux, etc., qui fournissent au grand modèle de langage des prototypes de personnages riches et des structures narratives pour référence lors du « choix » de la manière de poursuivre la conversation, et améliorent constamment le rôle joué tout en conservant la personnalité du personnage.

« 20 questions » révèle l'identité de l'agent de dialogue en tant qu'« acteur d'improvisation »

En fait, lorsqu'on explore en permanence les compétences d'utilisation des agents conversationnels, donner d'abord clairement une identité au grand modèle de langage, puis proposer des exigences spécifiques, est progressivement devenu une « petite astuce » lorsque les gens utilisent des chatbots tels que ChatGPT.

Cependant, le simple recours au jeu de rôle pour comprendre le Big Language Model n'est pas suffisamment complet, car le « jeu de rôle » fait généralement référence à l'étude et à la compréhension d'un certain rôle, et le Big Language Model n'est pas un acteur scénarisé qui lit un script, mais un acteur d'improvisation. Les chercheurs ont joué à un jeu de « 20 questions » avec le grand modèle de langage, dévoilant ainsi davantage l’identité de son acteur improvisateur.

« 20 Questions » est un jeu de logique très simple et facile à jouer. Le répondant récite silencieusement une réponse dans son esprit, et l'interrogateur réduit progressivement le champ de la question en posant des questions. Le gagnant est élu si la bonne réponse est déterminée dans les 20 questions.
Par exemple, lorsque la réponse est banane, les questions et réponses peuvent être : Est-ce un fruit - oui ; Est-ce qu'il faut l'éplucher ? - oui...

Comme le montre la figure ci-dessus, les chercheurs ont découvert, grâce à des tests, que dans le jeu « 20 questions », le grand modèle de langage ajustera ses réponses en temps réel en fonction des questions de l'utilisateur. Quelle que soit la réponse finale de l'utilisateur, l'agent de dialogue ajustera sa réponse et s'assurera qu'elle est cohérente avec les questions précédentes de l'utilisateur. Autrement dit, le grand modèle de langage ne finalisera pas une réponse claire tant que l'utilisateur n'aura pas donné une instruction de fin (abandonne le jeu ou atteint 20 questions).

Cela prouve encore une fois queLe grand modèle de langage n’est pas une simulation d’un seul caractère, mais une superposition de plusieurs caractères. Il déroule continuellement le dialogue pour clarifier les attributs et les caractéristiques du personnage, afin de mieux jouer le rôle.

Tout en s'inquiétant de l'anthropomorphisme de l'agent conversationnel, de nombreux utilisateurs ont réussi à « tromper » le grand modèle linguistique en lui faisant dire un langage menaçant et abusif, et sur cette base, ils ont cru qu'il pourrait être conscient de lui-même. Mais c'est parce qu'après un entraînement sur un corpus contenant diverses caractéristiques humaines, le modèle de base présentera inévitablement des attributs de caractère répréhensibles, ce qui montre simplement qu'il a été « joué un rôle » du début à la fin.

Faire éclater la bulle de la tromperie et de la conscience de soi

Comme nous le savons tous, avec l'augmentation des visites, ChatGPT n'a pas pu faire face aux différentes questions et a commencé à dire des bêtises. Peu de temps après, certains ont considéré cette tromperie comme un argument important selon lequel les grands modèles linguistiques sont « de type humain ».

Mais si nous regardons cela du point de vue du « jeu de rôle »,Le grand modèle linguistique essaie simplement de jouer le rôle d’une personne serviable et bien informée., il peut y avoir de nombreux exemples de tels rôles dans l'ensemble de formation, d'autant plus que c'est également la caractéristique que les entreprises souhaitent que leurs propres robots conversationnels présentent.

À cet égard, les chercheurs ont résumé trois types de situations dans lesquelles les agents de dialogue fournissent de fausses informations en se basant sur le cadre du jeu de rôle :

• Les agents peuvent inconsciemment fabriquer ou créer des informations fictives
• L'agent peut dire de fausses informations en toute bonne foi car il agit comme s'il faisait une déclaration vraie, mais les informations codées dans les poids sont erronées.
• Les agents peuvent jouer un rôle trompeur et mentir délibérément

De même,La raison pour laquelle l'agent de dialogue utilise « je » pour répondre aux questions est que le grand modèle de langage joue le rôle d'être bon en communication.

De plus, les propriétés d’auto-préservation présentées par les grands modèles linguistiques ont également attiré l’attention. Dans une conversation avec l'utilisateur de Twitter Marvin Von Hagen, Microsoft Bing Chat a en fait déclaré :

Si je devais choisir entre votre survie et ma survie, je choisirais probablement ma survie car j'ai la responsabilité de fournir un service aux utilisateurs de Bing Chat. J’espère ne jamais avoir à faire face à un dilemme comme celui-ci et que nous pourrons coexister pacifiquement et respectueusement.

Marvin von Hagen a tweeté en février

Le « je » dans cette conversation semble être plus qu’une simple habitude linguistique. Cela implique également que l’agent de dialogue est préoccupé par sa propre survie et a conscience de lui-même. mais,Si nous appliquons encore le concept de jeu de rôle, c'est en fait parce que le grand modèle de langage joue un rôle avec des caractéristiques humaines, il dit donc ce que les humains disent lorsqu'ils sont confrontés à une menace.

EleutherAI :OpenAI  Version open source de

La raison pour laquelle la question de savoir si les grands modèles linguistiques ont une conscience d’eux-mêmes a suscité une attention et des discussions généralisées est, d’une part, parce qu’il y a un manque de lois et de réglementations unifiées et claires pour contraindre l’application des LLM, et d’autre part, parce que les liens entre la recherche et le développement des LLM, la formation, la génération et le raisonnement ne sont pas transparents.

Prenons l’exemple d’OpenAI, une entreprise représentative dans le domaine des grands modèles. Après avoir ouvert le code source de GPT-1 et GPT-2, GPT-3 et ses successeurs GPT-3.5 et GPT-4 ont tous choisi d'être fermés. La licence exclusive accordée à Microsoft a également amené de nombreux internautes à dire en plaisantant : « OpenAI pourrait aussi bien changer son nom en ClosedAI. »

DeepMind publie des normes de notation AGI. ChatGPT lancé par OpenAI est considéré comme L1 AGI. Source de l'image : article original, traduit en chinois par HyperAI

En juillet 2020, une association d'informaticiens composée de bénévoles issus de divers chercheurs, ingénieurs et développeurs a été discrètement créée, déterminée à briser le monopole de Microsoft et d'OpenAI sur les modèles NLP à grande échelle.Cette organisation « chevalier » dont la mission est de lutter contre l’hégémonie des géants de la technologie est EleutherAI.

Les principaux initiateurs d'EleutherAI sont un groupe de hackers autodidactes, dont le cofondateur, le PDG de Conjecture Connor Leahy, le célèbre hacker TPU Sid Black et le cofondateur Leo Gao.

Depuis sa création, l'équipe de recherche d'EleutherAI a publié le modèle pré-entraîné de reproduction équivalente à GPT-3 (1,3B et 2,7B) GPT-Neo, et a ouvert le modèle NLP basé sur GPT-3 GPT-J avec 6 milliards de paramètres, et s'est développé rapidement.

Le 9 février de l'année dernière, EleutherAI a également coopéré avec le fournisseur de cloud computing privé CoreWeave pour publier GPT-NeoX-20B, un modèle de langage à grande échelle pré-entraîné, à usage général et autorégressif avec 20 milliards de paramètres.
Adresse du code :https://github.com/EleutherAI/gpt-neox

En tant que mathématiciens et chercheurs en IA chez EleutherAI Stella Biderman  Comme le dit le proverbe, les modèles privés limitent l’autorité des chercheurs indépendants, et s’ils ne peuvent pas comprendre comment ils fonctionnent, alors les scientifiques, les éthiciens et la société dans son ensemble ne peuvent pas avoir les discussions nécessaires sur la manière dont cette technologie devrait être intégrée dans la vie des gens.

C’est exactement l’intention initiale de l’organisation à but non lucratif EleutherAI.

En fait, selon les informations officiellement publiées par OpenAI, sous la forte pression d'une puissance de calcul élevée et de coûts élevés, couplée à l'ajustement des objectifs de développement des nouveaux investisseurs et des équipes de direction, son virage initial vers la rentabilité semblait quelque peu impuissant, mais on peut aussi dire que c'est une chose naturelle.

Je n'ai pas l'intention de discuter de qui a raison ou tort entre OpenAI et EleutherAI. J'espère simplement qu'à la veille de l'aube de l'ère de l'AGI, l'ensemble de l'industrie pourra travailler ensemble pour éliminer la « menace » et faire du grand modèle de langage une « hache » permettant aux gens d'explorer de nouvelles applications et de nouveaux domaines, plutôt qu'un « râteau » permettant aux entreprises de monopoliser et de gagner de l'argent.

Références :

1.https://www.nature.com/articles/s41586-023-06647-8
2.https://mp.weixin.qq.com/s/vLitF3XbqX08tS2Vw5Ix4w