Du Leader Du GPT-3 Au CTO d'Anthropic, Tom Brown Discute De l'expérience Entrepreneuriale, Des Lois De Mise À l'échelle Et De La Dépendance À La Chaîne d'approvisionnement Des puces.

Dans le contexte de l'évolution rapide de l'intelligence artificielle mondiale, le nom de Tom Brown s'est imposé. En tant que principal responsable du développement de GPT-3 chez OpenAI, il a supervisé et piloté le passage crucial des grands modèles de langage du laboratoire à l'industrialisation. Aujourd'hui, en tant que cofondateur et directeur technique d'Anthropic, il dirige l'équipe chargée du lancement de la série de modèles Claude.D’un certain point de vue, l’expérience de Tom Brown reflète les nœuds clés du développement de l’IA.

Comparé à la plupart des ingénieurs conventionnels, le parcours de Tom Brown a été plus tortueux. Autodidacte en mathématiques et en apprentissage automatique, il a débuté sa carrière entrepreneuriale avant de s'engager progressivement dans la recherche de pointe. Fort de son expérience interdisciplinaire en ingénierie et en organisation, il a rejoint OpenAI pour diriger la R&D et a joué un rôle clé dans le projet GPT-3.La croissance non linéaire de l’entrepreneuriat à la recherche scientifique a donné à Tom Brown une perspective unique sur l’exploration technologique et le jugement stratégique.

Récemment, dans une interview avec Y Combinator, Tom Brown a partagé son parcours de transformation d'entrepreneur à chercheur, et a parlé de la construction de Claude Code, des leçons tirées de la conception des systèmes GPT-3 et LLM, et a également évoqué ses réflexions sur des défis tels que la puissance de calcul, l'énergie et la sécurité future de l'IA. HyperAI a compilé certains points clés de l'entretien sans en compromettre l'intention initiale. Voici la transcription de l'entretien.

D'OpenAI à Anthropic, le parcours entrepreneurial précoce de Tom Brown

Q : Qu’avez-vous appris au début de votre parcours entrepreneurial ? 

Tom Brown : J'ai réalisé très tôt queDans un environnement entrepreneurial, il faut être un loup, pas un chien.Cela signifiait ne plus attendre de tâches ni suivre d'instructions. Lorsqu'on crée une entreprise, personne ne nous dit exactement quoi faire. On est confronté chaque jour à des problèmes complexes et à des enjeux vitaux. Cette expérience m'a inculqué l'habitude de chercher à résoudre les problèmes de manière proactive, un changement que je trouve précieux.

Q : Comment êtes-vous passé de l’entrepreneuriat à l’IA ? 

Tom Brown : À cette époque, j'avais le sentiment d'avoir accumulé une certaine intuition et une certaine capacité d'exécution dans le processus de création d'une entreprise, mais il me manquait des connaissances approfondies en mathématiques et en apprentissage automatique.Ces éléments sont nécessaires si nous voulons créer une intelligence artificielle révolutionnaire.J'ai passé 6 mois à m'auto-enseigner, en abordant des sujets que j'avais auparavant complètement évités.J'ai besoin de passer beaucoup de temps seul pour m'assurer que je ne deviendrai pas un fardeau pour l'équipe, mais un rôle qui peut vraiment aider l'équipe.

Q : Quelle a été votre impression la plus profonde au début d’OpenAI ? 

Tom Brown : À l'époque, OpenAI était une entreprise complètement différente de ce qu'elle est aujourd'hui. Nous travaillions depuis un petit bureau improvisé à San Francisco, qui ressemblait à une chocolaterie, mais nous avions déjà reçu un financement d'un milliard de dollars.Le contraste est très fort : d’un côté, les attentes en termes de ressources sont énormes, et de l’autre, nous résolvons chaque jour les problèmes les plus élémentaires.Nous avons essayé de nombreuses choses, comme la création d'un environnement StarCraft et la formation d'agents d'apprentissage par renforcement, mais le modèle de langage était vraiment impressionnant. Lorsque GPT-3 est sorti, tout le monde a eu le pressentiment qu'il ne s'agissait pas d'une simple démonstration scientifique, mais des prémices d'une forme d'intelligence générale.

Q : Pourquoi avez-vous quitté OpenAI pour créer Anthropic ?

Tom Brown : J'ai grandi chez OpenAI, mais les idées divergeaient au sein de l'équipe. Certains estimaient qu'il nous fallait une organisation qui prenne en compte la sécurité et les risques à long terme. J'ai été attiré par cette ambiance, alors j'ai rejoint un petit groupe pour fonder Anthropic.Pour être honnête, nous n’avions pas de feuille de route complètement claire à l’époque et nous tâtonnions encore dans de nombreux domaines.

Q : Quelles difficultés Claude a-t-il rencontrées lors de son développement ? 

Tom Brown : Honnêtement, nos débuts n'ont pas été faciles. Avec Claude 1, les résultats n'ont pas été à la hauteur des attentes. Il s'agissait souvent d'un simple « prototype satisfaisant » plutôt que d'une avancée majeure. Si l'on ajoute à cela les retards dans le développement des infrastructures, nous avons pris un peu de retard sur le calendrier.Le tournant a eu lieu avec Claude 3.5 Sonnet, où nos capacités de codage sont soudainement devenues très performantes. Cela nous a non seulement donné de l'espoir, mais a également amélioré l'évaluation externe de notre modèle.

Q : Pourriez-vous nous présenter le lancement des outils Claude Code et Agent ? 

Tom Brown : C'est en fait assez intéressant.Au départ, nous avons créé Claude Code uniquement pour un usage interne. Nous n'imaginions absolument pas qu'il rencontrerait un succès commercial ; jusque-là, nous avions misé entièrement sur l'API.La réponse du marché a été encore meilleure que ce à quoi nous nous attendions, les développeurs en particulier ayant immédiatement saisi sa valeur et étant devenus la clé de l’ouverture du marché.

Les deux chocs intuitifs de Tom Brown : « Demand Matching » et « Scaling Laws »

Q : Quelles différences avez-vous constatées entre Grouper et Tinder ? 

Tom Brown : Grouper a essentiellement réuni trois couples pour se rencontrer dans un bar, ce qui était une idée intéressante mais qui a connu une croissance limitée. Tinder a été lancé alors que nous travaillions sur Grouper. Il a résolu certains problèmes fondamentaux des rencontres en ligne grâce au mécanisme « les deux parties cliquent sur « J'aime » avant de correspondre ».Par exemple, cela réduit la douleur d’être rejeté et rend l’expérience plus sûre pour les filles.Cela répond mieux aux besoins des utilisateurs, la solution de Tinder est donc un succès.

Grouper et Tinder sont deux applications de rencontre. Tom Brown raconte ici sa rencontre avec Michael Waxman, le fondateur de Grouper, et explique comment Tinder offre une solution plus performante aux problèmes sociaux que Grouper.

Q : Quelle inspiration Scaling Laws vous a-t-il donnée ? 

Tom Brown :Je pense que les lois d'échelle sont la découverte la plus « maladroite mais efficace » dans notre domaine.La loi d'échelle originelle était comme une ligne droite, d'environ 12 ordres de grandeur, ce qui est un nombre très élevé. Je ne l'ai jamais vu dépasser 12 ordres de grandeur. J'étais donc convaincu queJe voulais concentrer tous mes efforts sur la mise à l'échelle. À l'époque, beaucoup étaient mécontents, estimant que c'était un gaspillage d'argent pour les GPU, mais les résultats des lois de mise à l'échelle étaient stables. Je pense que nous devrions oser faire des choses « stupides mais utiles ».

Stratégies actuelles de l'IA et défis futurs

Q : À quels défis Anthropic est-il confronté en termes de puissance de calcul et d’infrastructure ? 

Tom Brown : Les défis auxquels nous sommes confrontés aujourd’hui sont totalement différents de ceux d’il y a quelques années. Auparavant, nous nous demandions si nous avions de bonnes idées de modèles.Le véritable goulot d’étranglement est désormais la puissance de calcul et l’énergie. Le nombre de GPU et d'électricité nécessaires à l'entraînement au niveau de l'IAG triple chaque année, un rythme presque sans précédent dans l'histoire de la technologie. Il est nécessaire de construire d'immenses clusters et d'optimiser la consommation énergétique.

Q : Comment Anthropic planifie-t-il ses puces et sa stratégie ? 

Tom Brown : Nous ne voulons pas miser sur un seul fournisseur, et nous testons également Google TPU et Tranium d'Amazon. Cela complexifie la tâche de l'équipe d'ingénierie : nous devons répartir notre équipe d'ingénierie des performances sur toutes ces plateformes.Mais à long terme, cela augmente notre flexibilité : d’une part, cela nous permet d’absorber des capacités supplémentaires car il y a plus de capacité globale ; et d’autre part, cela nous permet d’utiliser la bonne puce pour la bonne tâche.

Liens de référence :

1.https://www.youtube.com/watch?v=JdT78t1Offo&list=PLynUse_piAuGeHpk87iKkQKvZHlcMbNrE&index=6