Les Modèles Linguistiques Géants Défient notre Compréhension de l’Intelligence Artificielle

Les grandes modèles de langage peuvent-ils jamais comprendre le langage comme le font les humains ? Les grands modèles de langage (LLMs) comme ChatGPT deviennent de plus en plus impressionnants dans leur capacité à produire des textes ressemblant à ceux d'un humain et à répondre aux questions. Cependant, la question de savoir si ces modèles comprennent vraiment le sens des mots qu'ils génèrent reste un sujet de débat intense. Ellie Pavlick, une chercheuse en informatique et en linguistique à l'Université Brown, explore justement ce domaine complexe. Un cheminement atypique Pavlick a suivi un parcours atypique. Elle a commencé par des études en économie et a ensuite développé une passion pour la musique, en jouant du saxophone. C'est en collaborant avec un professeur de microéconomie qui l'a initiée à la programmation via des tâches en MATLAB que son intérêt pour l'informatique est né. Elle a ensuite poursuivi ses études en informatique et a été attirée par les domaines de traitement du langage naturel (NLP) et de la sémantique, qui ont toujours été des centres d'intérêts chez elle. Des avancées récentes et leurs implications Les LLMs sont un sous-domaine spécifique de l'NLP, où l'enjeu est de prédire le mot suivant dans une séquence donnée. Cette approche a conduit à des modèles capables de réaliser une multitude de tâches linguistiques, souvent de manière très proche de celle des humains. Toutefois, malgré leurs performances, ces modèles demeurent des boîtes noires. Ils peuvent faire des prédictions et des choix, mais ne peuvent pas communiquer les raisons de ces choix. Une analogie utile : la cuisine Pour expliquer cette situation, Pavlick utilise une analogie avec la cuisson d'un gâteau. On peut comprendre la recette, c'est-à-dire le code et les principes de base selon lesquels le modèle fonctionne. Cependant, même si on remplace certains ingrédients, on ne peut pas toujours prédire exactement comment le gâteau final sera. De même, bien que nous comprenions comment les LLMs sont formés, nous ne pouvons pas toujours expliquer précisément pourquoi ils produisent certaines réponses. Interrogations philosophiques Cette analogie soulève des questions sur la compréhension et l'intelligence. Alors que les LLMs peuvent ressembler aux humains en termes de comportement linguistique, ils n'utilisent pas la même méthodologie. Les humains ont une conscience de leurs actions et peuvent réfléchir à leurs processus internes, tandis que les LLMs n'ont pas de telles capacités. Pavlick insiste sur l'importance de préciser ce que nous entendons par "compréhension" ou "intelligence". Ces termes, souvent vagues, peuvent se décomposer en plusieurs concepts plus precisely définissables. Continuité d'apprentissage vs. modèles figés Un autre aspect crucial concerne l'apprentissage continu des LLMs. Pavlick distingue deux types de "learning" : - Mise à jour des poids : Le modèle ajuste ses paramètres internes pour mieux prédire les mots suivants. - Stockage de connaissances annexes : Le modèle retient des informations spécifiques à chaque utilisateur, comme les noms ou les préférences, sans changer ses paramètres fondamentaux. Il n'existe actuellement pas de moyen de réinitialiser un modèle après cet apprentissage, ce qui peut poser des défis. Pavlick voit cela comme une continuité naturelle des interactions entre humains et technologie, comme la façon dont Google a influencé les recherches par mots-clés. Impact sur la créativité humaine Pavlick collabore avec un professeur de littérature, John Cayley, pour explorer comment la technologie influence la créativité. Elle affirme que, même si un poème ou un tableau est créé par un LLM, cela ne diminue pas sa valeur artistique. L'important est de séparer la méthode de création de la valeur de l'œuvre elle-même. Préoccupations et perspectives positives Bien que les avancées en IA soient fascinantes, elles soulèvent également des inquiétudes. Pavlick mentionne notamment les risques de sécurité et la propagation des tromperies. Cependant, elle reste optimiste, pensant que le potentiel des LLMs l'emporte sur les coûts. Pour elle, le privilège de travailler sur ces questions est que cela permet d'approcher de manière rigoureuse des concepts philosophiques autrefois considérés comme insaisissables. Conclusion et engagement Le dialogue entre les scientifiques, les philosophes et les praticiens de l'IE devient crucial. Les avancées en IA, en particulier avec les LLMs, nous poussent à redéfinir notre compréhension de l'intelligence et de la créativité humaines. Cet engagement interdisciplinaire pourrait mener à de nouvelles découvertes et innovations, tout en préservant les qualités uniques de l'esprit humain. Contexte et évaluation de l'industrie Professionnels de l'industrie : D'après des experts comme Ellie Pavlick, l'IA en est encore à ses débuts. Bien que les LLMs montrent des capacités remarquables, ils nécessitent davantage d’étude pour comprendre leurs limitations et leur vrai potentiel. Profil de l'entreprise : Quanta Magazine est une publication éditorialement indépendante soutenue par la Fondation Simons. Elle explore des questions complexes en mathématiques et en sciences, offrant des reportages en profondeur et des podcasts comme The Joy of Why pour engager le public dans une réflexion sur les avancées technologiques. Les discussions autour de l'IA, et particulièrement des LLMs, sont à la fois passionnantes et cruciales. Elles poussent les chercheurs et le public à examiner les frontières de l'intelligence et de la conscience, tout en soulignant l'importance d'une approche interdisciplinaire.