Vom GPT-3-Leiter Zum CTO Von Anthropic: Tom Brown Diskutiert Unternehmerische Erfahrungen, Skalierungsgesetze Und Die Abhängigkeit Von Der Chip-Lieferkette.

Inmitten der rasanten Entwicklung der globalen künstlichen Intelligenz sticht Tom Browns Name hervor. Als Hauptverantwortlicher der GPT-3-Entwicklung von OpenAI überwachte und trieb er den entscheidenden Sprung großer Sprachmodelle vom Labor zur Industrialisierung voran. Heute leitet er als Mitbegründer und Chief Technology Officer (CTO) von Anthropic das Team bei der Einführung der Claude-Modellreihe.Aus einer bestimmten Perspektive spiegelt Tom Browns Erfahrung die wichtigsten Knotenpunkte in der Entwicklung der KI wider.

Im Vergleich zu den meisten konventionellen Ingenieuren verlief Tom Browns Karriere etwas umständlicher. Er begann seine Karriere als Unternehmer, brachte sich Mathematik und maschinelles Lernen selbst bei und stieg nach und nach in die Spitzenforschung ein. Dank seiner interdisziplinären Erfahrung in Ingenieurwesen und Organisation übernahm er bei OpenAI die Leitung der zentralen Forschung und Entwicklung und spielte eine Schlüsselrolle im GPT-3-Projekt.Der nichtlineare Aufstieg vom Unternehmertum zur wissenschaftlichen Forschung hat Tom Brown eine einzigartige Perspektive sowohl auf die technologische Erforschung als auch auf strategisches Urteilsvermögen verliehen.

Kürzlich in einem Interview mit Y Combinator, Tom Brown berichtete über seinen Weg vom Unternehmer zum Forscher und sprach über die Konstruktion von Claude Code, die Lehren aus der Entwicklung von GPT-3- und LLM-Systemen und ging auch auf seine Gedanken zu Herausforderungen wie Rechenleistung, Energie und zukünftiger KI-Sicherheit ein. HyperAI hat einige der wichtigsten Punkte aus dem Interview zusammengestellt, ohne die ursprüngliche Absicht zu verletzen. Im Folgenden finden Sie das Transkript des Interviews.

Von OpenAI zu Anthropic, Tom Browns frühe unternehmerische Reise

F: Was haben Sie zu Beginn Ihrer unternehmerischen Laufbahn gelernt? 

Tom Brown: Mir wurde schon sehr früh klar, dassIn einem unternehmerischen Umfeld müssen Sie ein Wolf sein, kein Hund.Das bedeutete, nicht auf Aufgaben zu warten oder Anweisungen zu befolgen. Wenn man ein Unternehmen gründet, sagt einem niemand genau, was man tun soll. Man steht täglich vor einer Vielzahl unklarer Probleme und lebenswichtiger Herausforderungen. Diese Erfahrung hat mir die Angewohnheit vermittelt, proaktiv nach Problemlösungen zu suchen – eine Veränderung, die ich für wertvoll halte.

F: Wie sind Sie vom Unternehmertum zur KI übergegangen? 

Tom Brown: Damals hatte ich das Gefühl, dass ich im Zuge der Unternehmensgründung eine gewisse Intuition und Umsetzungskompetenz entwickelt hatte, mir aber grundlegende Kenntnisse in Mathematik und maschinellem Lernen fehlten.Diese sind notwendig, wenn wir eine revolutionäre künstliche Intelligenz schaffen wollen.Ich habe sechs Monate damit verbracht, mir selbst Dinge beizubringen und mich mit Themen auseinanderzusetzen, die ich vorher völlig vermieden hatte.Ich muss viel Zeit allein verbringen, um sicherzustellen, dass ich dem Team nicht zur Last falle, sondern eine Rolle übernehme, die dem Team wirklich hilft.

F: Was war Ihr tiefster Eindruck in den Anfangstagen von OpenAI? 

Tom Brown: OpenAI war damals ein völlig anderes Unternehmen als heute. Wir arbeiteten von einem kleinen, provisorischen Büro in San Francisco aus, das aussah wie eine Schokoladenfabrik, aber wir hatten bereits eine Milliarde Dollar an Finanzmitteln erhalten.Der Kontrast ist sehr stark: Einerseits gibt es enorme Erwartungen hinsichtlich der Ressourcen, andererseits lösen wir tagtäglich die grundlegendsten Probleme.Wir haben viele Dinge ausprobiert, wie zum Beispiel den Aufbau einer StarCraft-Umgebung und das Trainieren von Reinforcement-Learning-Agenten, aber das Sprachmodell war wirklich beeindruckend. Als GPT-3 herauskam, ahnte jeder: Dies war nicht nur eine wissenschaftliche Demo, sondern der Beginn einer Art allgemeiner Intelligenz.

F: Warum haben Sie OpenAI verlassen, um Anthropic zu gründen?

Tom Brown: Ich bin bei OpenAI aufgewachsen, aber innerhalb des Teams gab es unterschiedliche Ansichten. Einige meinten, wir bräuchten eine Organisation, die Sicherheit und langfristige Risiken berücksichtigt. Diese Atmosphäre hat mich angezogen, und so schloss ich mich einer kleinen Gruppe an, um Anthropic zu gründen.Ehrlich gesagt hatten wir damals noch keinen ganz klaren Fahrplan und waren in vielen Bereichen noch am Herumtasten.

F: Auf welche Schwierigkeiten ist Claude bei der Entwicklung gestoßen? 

Tom Brown: Ehrlich gesagt, hatten wir keinen reibungslosen Start. Bei Claude 1 entsprachen die Ergebnisse nicht den Erwartungen. Es war oft nur ein ausreichend guter Prototyp, kein Durchbruch. Zusammen mit Verzögerungen bei der Infrastrukturentwicklung gerieten wir etwas in Verzug.Der Wendepunkt kam mit Claude 3.5 Sonnet, wo unsere Programmierfähigkeiten plötzlich sehr stark wurden. Das gab uns nicht nur Hoffnung, sondern verbesserte auch die externe Bewertung unseres Modells.

F: Könnten Sie bitte die Einführung der Tools Claude Code und Agent vorstellen? 

Tom Brown: Das ist tatsächlich ziemlich interessant.Wir haben Claude Code zunächst ausschließlich für den internen Gebrauch entwickelt. Wir hatten keine Ahnung, dass es sich auf dem Markt durchsetzen würde. Bis dahin hatten wir voll und ganz auf die API gesetzt.Die Marktreaktion war sogar noch besser als erwartet. Insbesondere die Entwickler erkannten sofort den Wert des Marktes und wurden zum Schlüssel für die Markterschließung.

Tom Browns zwei intuitive Schocks: „Demand Matching“ und „Scaling Laws“

F: Welche Unterschiede haben Sie zwischen Grouper und Tinder festgestellt? 

Tom Brown: Grouper brachte im Wesentlichen drei Paare zusammen, um sich in einer Bar zu treffen. Das war eine interessante Idee, hatte aber nur begrenztes Wachstum. Tinder wurde eingeführt, als wir an Grouper arbeiteten. Es löste einige Kernprobleme des Online-Datings, indem es den Mechanismus verwendete, „beide Parteien klicken vor dem Matching auf ‚Gefällt mir‘“.Beispielsweise wird dadurch der Schmerz einer Zurückweisung gemildert und die Erfahrung für die Mädchen sicherer.Dadurch werden die Bedürfnisse der Nutzer besser berücksichtigt, sodass die Lösung von Tinder erfolgreich ist.

Grouper und Tinder sind zwei Dating-Apps. Tom Brown erzählt hier, wie er Grouper-Gründer Michael Waxman kennenlernte und erläutert anschließend, warum Tinder im Vergleich zu Grouper eine bessere Lösung für soziale Probleme bietet.

F: Welche Inspiration haben Sie durch Scaling Laws erhalten? 

Tom Brown:Ich denke, dass Skalierungsgesetze die „ungeschickteste, aber effektivste“ Entdeckung auf unserem Gebiet sind.Das ursprüngliche Skalierungsgesetz war wie eine gerade Linie, etwa 12 Größenordnungen, was eine sehr große Zahl ist. Ich habe nie gesehen, dass es über 12 Größenordnungen hinausgeht. Also war ich überzeugt, dassIch wollte meine ganze Kraft auf die Skalierung konzentrieren. Viele waren damals unzufrieden und meinten, das sei Geldverschwendung für GPUs, aber die Ergebnisse der Skalierungsgesetze waren stabil. Ich glaube, wir sollten es wagen, „dumme, aber nützliche“ Dinge zu tun.

Aktuelle KI-Strategien und zukünftige Herausforderungen

F: Vor welchen Herausforderungen steht Anthropic in Bezug auf Rechenleistung und Infrastruktur? 

Tom Brown: Die Herausforderungen, vor denen wir heute stehen, sind völlig andere als noch vor einigen Jahren. Früher haben wir uns Gedanken darüber gemacht, ob wir gute Modellideen haben.Der eigentliche Engpass sind derzeit Rechenleistung und Energie. Die Anzahl der GPUs und der Stromverbrauch für das Training auf AGI-Niveau verdreifachen sich jährlich – eine in der Technologiegeschichte nahezu beispiellose Rate. Man muss riesige Cluster aufbauen und den Energieverbrauch optimieren.

F: Wie plant Anthropic seine Chips und seine Strategie? 

Tom Brown: Wir wollen unser Vermögen nicht nur auf einen Anbieter setzen und testen auch Google TPU und Amazons Tranium. Das erhöht die Komplexität für das Entwicklungsteam – wir müssen unser Performance-Engineering-Team auf alle diese Plattformen verteilen.Langfristig erhöht dies jedoch unsere Flexibilität: Einerseits können wir zusätzliche Kapazitäten aufnehmen, da insgesamt mehr Kapazität vorhanden ist, und andererseits können wir den richtigen Chip für die richtige Aufgabe verwenden.

Referenzlinks:

1.https://www.youtube.com/watch?v=JdT78t1Offo&list=PLynUse_piAuGeHpk87iKkQKvZHlcMbNrE&index=6