GPT-3 のリーダーから Anthropic の CTO にまでなった Tom Brown が、起業家としての経験、スケーリングの法則、チップのサプライ チェーンの依存性について語ります。
世界的な人工知能の急速な進化の中で、トム・ブラウン氏の名前はひときわ目立っています。OpenAIのGPT-3開発の中核リーダーとして、大規模言語モデルを研究室から産業化へと飛躍させる重要な一歩を踏み出す原動力となり、その成功を牽引しました。現在、Anthropicの共同創業者兼最高技術責任者（CTO）として、チームを率いてClaudeシリーズのモデル開発に携わっています。ある観点から見ると、トム・ブラウンの経験は AI 開発における重要な節目を反映しています。
トム・ブラウンのキャリアパスは、一般的なエンジニアの多くと比べて、より紆余曲折を経たものでした。彼は起業家としてキャリアをスタートさせ、独学で数学と機械学習を学び、徐々に最先端の研究の世界へと足を踏み入れました。エンジニアリングと組織における学際的な経験を活かし、OpenAIに入社し、コアR&Dを率い、GPT-3プロジェクトで重要な役割を果たしました。起業から科学研究への非線形成長により、トム・ブラウンは技術の探求と戦略的判断の両方において独自の視点を獲得しました。
最近、Yコンビネーターとのインタビューで、 トム・ブラウン氏は、起業家から研究者への変革の旅を共有し、クロード・コードの構築、GPT-3 および LLM システムの設計から学んだ教訓について話し、コンピューティング能力、エネルギー、将来の AI セキュリティなどの課題に関する考えにも触れました。 HyperAIは、インタビューの趣旨を損なうことなく、インタビューの要点を一部抜粋してまとめました。以下はインタビューの書き起こしです。
OpenAIからAnthropicへ、トム・ブラウンの起業家としての初期の旅
Q: 起業の旅の早い段階で何を学びましたか?
トム・ブラウン：私はかなり早い段階で起業家の環境では、犬ではなく狼でなければなりません。これは、タスクを待ったり、指示に従ったりしないことを意味します。起業時は、誰も何をすべきかを正確に指示してくれません。日々、様々な曖昧な問題や生死に関わる課題に直面します。この経験を通して、私は積極的に問題解決に取り組む習慣を身につけました。これは私にとって大きな価値ある変化だったと思います。
Q: 起業から AI へどのように移行したのですか?
トム・ブラウン：当時、私は起業の過程である程度の直感と実行力を培ってきたと感じていましたが、ハードコアな数学と機械学習の知識が不足していました。革命的な人工知能を創造するには、これらが不可欠です。私は 6 か月間独学で学び、それまで完全に避けていたトピックに取り組みました。チームの負担にならず、本当にチームに貢献できる役割を担えるよう、長い時間を一人で過ごす必要があります。
Q: OpenAI の初期のころに最も印象に残ったことは何ですか?
トム・ブラウン：当時のOpenAIは今とは全く違う会社でした。サンフランシスコにある、まるでチョコレート工場のような小さな仮設オフィスで業務を運営していましたが、すでに10億ドルの資金を調達していました。その対比は非常に顕著です。一方ではリソースに関して大きな期待が寄せられており、他方では私たちは最も基本的な問題を日々解決しています。スタークラフト環境の構築や強化学習エージェントの訓練など、様々な試みを行ってきましたが、言語モデルは本当に素晴らしいものでした。GPT-3が登場したとき、誰もがこれは単なる科学的なデモではなく、ある種の汎用知能の始まりだと直感しました。
Q: OpenAI を離れて Anthropic を立ち上げた理由は何ですか?
トム・ブラウン：OpenAIは私が育った環境でしたが、チーム内では様々な意見が出ました。安全性と長期的なリスクを考慮した組織が必要だと考える人もいました。私はその雰囲気に惹かれ、少人数のグループに加わってAnthropicを立ち上げました。正直に言うと、当時はまだ完全に明確なロードマップはなく、手探りの部分が多々ありました。
Q: クロードは開発中にどんな困難に直面しましたか?
トム・ブラウン：正直なところ、順調なスタートとは言えませんでした。Claude 1では、期待に応えられる結果が得られず、画期的な成果というよりは「まあまあのプロトタイプ」に留まってしまうことが多かったです。インフラ開発の遅れも重なり、スケジュールに若干の遅れが出てしまいました。転機はClaude 3.5 Sonnetで訪れました。コーディング能力が飛躍的に向上したのです。これは私たちに希望を与えただけでなく、私たちのモデルに対する外部からの評価も向上させました。
Q: Claude Code と Agent ツールのリリースについて紹介していただけますか?
トム・ブラウン：これは実はかなり興味深いですね。当初、Claude Codeは社内利用のみを目的として開発されました。市場で成功するとは夢にも思っていませんでした。それまでは、APIにすべてを賭けていました。市場の反応は予想以上に良く、特にデベロッパーがその価値をすぐに理解し、市場開拓の鍵となりました。
トム・ブラウンの2つの直感的な衝撃：「需要マッチング」と「スケーリングの法則」
Q: Grouper と Tinder の違いは何かありますか?
トム・ブラウン：Grouper は基本的に 3 組のカップルをバーに集めるというものでした。これは興味深いアイデアでしたが、成長には限界がありました。 TinderはGrouperの開発に取り組んでいた頃にリリースされました。「マッチング前に双方が『いいね！』をクリックする」という仕組みを採用することで、オンラインデートにおける根本的な問題を解決しました。たとえば、拒絶されたときの痛みが軽減され、女の子にとってより安全な経験になります。これにより、ユーザーのニーズがより適切に満たされ、Tinder のソリューションは成功しました。
GrouperとTinderは2つの出会い系アプリです。トム・ブラウンがGrouperの創設者マイケル・ワックスマンと出会った経緯を語り、TinderがGrouperと比べて社会問題に対する優れた解決策を提供している理由について解説します。
Q: Scaling Laws からどのようなインスピレーションを得ましたか?
トム・ブラウン：スケーリング法則は、私たちの分野における最も「不器用だが効果的な」発見であると思います。元々のスケーリング則は直線のようなもので、約12桁の大きさでした。これは非常に大きな数字で、12桁を超えるものを見たことはありません。だから私は確信していました。スケーリングに全力を注ぎたいと考えていました。当時は多くの人が「GPUにお金をかけるのは無駄だ」と不満を漏らしましたが、スケーリング則の成果は安定していました。「バカげているけれど役に立つ」ことを敢えてやるべきだと考えています。
現在のAI戦略と将来の課題
Q: コンピューティング能力とインフラストラクチャの面で、Anthropic はどのような課題に直面していますか?
トム・ブラウン：今私たちが直面している課題は、数年前に直面していた課題とは全く異なります。以前は、優れたモデルのアイデアがあるかどうかが懸念事項でした。現在、本当のボトルネックとなっているのは、コンピューティング能力とエネルギーです。 AGIレベルのトレーニングに必要なGPUの数と電力は毎年3倍のペースで増加しており、これはテクノロジーの歴史においてほぼ前例のない増加率です。巨大なクラスターを構築し、エネルギー使用を最適化する必要があります。
Q: Anthropic はチップと戦略をどのように計画していますか?
Tom Brown: 一つのベンダーにすべてを賭けるつもりはありません。Google TPUとAmazonのTraniumも試しています。これによりエンジニアリングチームの作業はより複雑になり、パフォーマンスエンジニアリングチームをこれらのプラットフォーム全体に分散させる必要があります。しかし、長期的には、これによって柔軟性が向上します。まず、全体的な容量が増えるため、追加の容量を吸収できるようになります。次に、適切なチップを適切なジョブに使用できるようになります。
参考リンク:
1.https://www.youtube.com/watch?v=JdT78t1Offo&list=PLynUse_piAuGeHpk87iKkQKvZHlcMbNrE&index=6