Jared Kaplan : les "dumb questions" sont les clés des progrès majeurs en IA

Jared Kaplan, cofondateur d'Anthropic, a affirmé lors d'un événement Y Combinator qu'interroger les questions les plus simples, voire "naïves", est essentiel pour progresser dans le domaine de l'intelligence artificielle. "C'est vraiment poser des questions très naïves, bêtes, qui vous mènent très loin", a-t-il déclaré. Il soulignait que le domaine de l'IA est encore très jeune et que de nombreuses questions fondamentales restent sans réponse. Par exemple, au cours des années 2010, de nombreux experts dans le secteur parlaient du "grand volume de données" comme étant la clé du futur. Kaplan a alors posé des questions simples : "À quel point est-ce nécessaire ? À quel point est-ce utile ?" Ces interrogations ont conduit son équipe à explorer si les performances d'un modèle d'IA pouvaient être prédites en fonction de sa taille et de la puissance de calcul utilisée, ce qui a donné naissance aux lois d'échelle, un concept clé dans le développement des modèles d'IA. Kaplan, ancien physicien, explique que cette approche de poser des questions simples est une méthode qu'il a apprise. "On regarde le grand tableau et on pose des questions bêtes", a-t-il précisé. Selon lui, ces questions permettent de préciser les tendances et d'obtenir des outils utiles pour progresser. "Cela vous permet de vous demander : qu'est-ce que vraiment faire avancer la situation ?" Anthropic, entreprise spécialisée dans l'intelligence artificielle, a connu des succès notables dans le domaine de l'assistance au codage, notamment grâce à la sortie de son modèle Claude Sonnet 3.5 en juin 2024. Quinn Slack de Sourcegraph a déclaré que ce modèle "a tout changé" et que son aptitude à générer du code de qualité surpassait les autres modèles. "Si vous n'êtes pas à la vitesse qu'il faut, vous allez mourir en tant que startup", a-t-il ajouté. Ben Mann, autre cofondateur d'Anthropic, a expliqué que les progrès dans la capacité des modèles à écrire du code étaient le résultat de tests constants et d'une rétroaction mesurable. "Parfois, vous ne savez pas, alors vous essayez", a-t-il dit. Elad Gil, investisseur en IA et animateur d'une série de podcasts, a soutenu que le codage offrait un moyen direct d'évaluer les résultats, permettant d'optimiser une fonction d'utilité naturelle. Selon Alistair Barr de Business Insider, les succès d'Anthropic dans le codage sont attribuables à des méthodes comme le "Renforcement par le Feedback Humain" (RLHF) et l'IA Constitutionnelle. Le magazine rapporte également que l'entreprise pourrait bientôt atteindre une valorisation de 100 milliards de dollars, grâce à des revenus générés par l'accès à ses modèles.