GPT-3 리더에서 Anthropic CTO로 변신한 톰 브라운은 기업가적 경험, 확장 법률, 칩 공급망 의존성에 대해 논의합니다.

글로벌 인공지능의 급속한 발전 속에서 톰 브라운의 이름은 더욱 빛을 발했습니다. OpenAI의 GPT-3 개발 핵심 리더로서 그는 대규모 언어 모델이 연구실에서 산업화 단계로 도약하는 데 중요한 역할을 했습니다. 현재 Anthropic의 공동 창립자이자 최고기술책임자(CTO)로서 Claude 시리즈 모델 출시를 이끌고 있습니다.어떤 관점에서 보면, 톰 브라운의 경험은 AI 개발의 핵심 노드를 반영합니다.

대부분의 기존 엔지니어와 비교했을 때, 톰 브라운의 경력은 더욱 굴곡졌습니다. 그는 사업가로서 경력을 시작하며 수학과 머신러닝을 독학으로 익혔고, 점차 최첨단 연구 분야로 진출했습니다. 엔지니어링과 조직 관리 분야에서 쌓은 다양한 경험을 바탕으로 OpenAI에 합류하여 핵심 R&D를 이끌었고, GPT-3 프로젝트에서 핵심적인 역할을 수행했습니다.기업가 정신에서 과학 연구로 이어지는 비선형적 성장은 톰 브라운에게 기술 탐구와 전략적 판단에 대한 독특한 관점을 제공했습니다.

최근 Y Combinator와의 인터뷰에서 톰 브라운은 기업가에서 연구자로의 전환 과정을 공유하고, 클로드 코드의 구축, GPT-3 및 LLM 시스템 설계에서 얻은 교훈에 대해 이야기했으며, 컴퓨팅 성능, 에너지, 미래 AI 보안과 같은 과제에 대한 자신의 생각도 언급했습니다. HyperAI는 원래 의도를 훼손하지 않으면서 인터뷰의 핵심 내용 중 일부를 정리했습니다. 다음은 인터뷰 전문입니다.

OpenAI에서 Anthropic까지, Tom Brown의 초기 기업가 여정

질문: 창업을 시작하면서 무엇을 배웠나요? 

Tom Brown: 저는 그것을 아주 일찍 깨달았습니다.기업가적 환경에서는 개가 아닌 늑대가 되어야 합니다.이는 업무를 기다리거나 지시를 따르지 않는다는 것을 의미했습니다. 사업을 시작할 때, 아무도 정확히 무엇을 해야 할지 말해주지 않습니다. 매일 다양하고 모호한 문제와 생사를 가르는 난관에 직면하게 됩니다. 그 경험은 저에게 적극적으로 문제를 해결하려는 습관을 심어주었고, 이러한 변화는 매우 가치 있다고 생각합니다.

질문: 어떻게 창업에서 AI로 전환하게 되었나요? 

톰 브라운: 당시 저는 사업을 시작하는 과정에서 직관과 실행 능력을 어느 정도 쌓았다고 생각했지만, 핵심적인 수학과 머신러닝 지식이 부족했습니다.혁신적인 인공지능을 만들려면 이러한 것들이 필요합니다.저는 이전에는 전혀 다루지 않았던 주제들을 다루며 6개월 동안 스스로를 훈련시켰습니다.팀에 부담이 되지 않고, 팀에 진정으로 도움이 되는 역할을 맡으려면 혼자 많은 시간을 보내야 합니다.

질문: OpenAI 초창기 때 가장 인상 깊었던 점은 무엇이었나요? 

톰 브라운: 당시 OpenAI는 지금과는 완전히 다른 회사였습니다. 샌프란시스코에 있는 마치 초콜릿 공장처럼 생긴 작은 임시 사무실에서 운영되었지만, 이미 10억 달러의 투자를 받은 상태였습니다.대조가 매우 강합니다. 한편으로는 자원에 대한 엄청난 기대가 있고, 다른 한편으로는 우리는 매일 가장 기본적인 문제들을 해결하고 있습니다.스타크래프트 환경 구축이나 강화 학습 에이전트 훈련 등 여러 가지를 시도해 봤지만, 언어 모델은 정말 인상적이었습니다. GPT-3가 출시되었을 때, 모두가 이것이 단순한 과학적 데모가 아니라 일종의 범용 지능의 시작일 거라고 예감했습니다.

질문: OpenAI를 떠나 Anthropic을 시작한 이유는 무엇인가요?

톰 브라운: OpenAI는 제가 자란 곳이었지만, 당시 팀 내에는 다양한 아이디어가 있었습니다. 어떤 사람들은 안전과 장기적인 위험을 고려하는 조직이 필요하다고 생각했습니다. 저는 그런 분위기에 끌려서 소규모 모임에 합류하여 Anthropic을 시작했습니다.솔직히 말해서, 당시에는 완벽하게 명확한 로드맵이 없었고, 여전히 많은 분야에서 모색 중이었습니다.

질문: 클로드는 개발 과정에서 어떤 어려움을 겪었나요? 

톰 브라운: 솔직히 말해서, 시작이 순탄치 않았습니다. 클로드 1의 결과는 기대에 미치지 못했습니다. 획기적인 성과라기보다는 그저 "충분히 괜찮은 프로토타입"에 그치는 경우가 많았습니다. 인프라 개발 지연까지 겹치면서 일정이 다소 늦어졌습니다.전환점은 Claude 3.5 Sonnet에서 찾아왔는데, 저희 코딩 역량이 갑자기 크게 강화되었습니다. 이는 저희에게 희망을 주었을 뿐만 아니라, 저희 모델의 외부 평가도 향상시켰습니다.

질문: Claude Code와 Agent 도구 출시에 대해 소개해 주시겠습니까? 

톰 브라운: 사실 꽤 흥미로운데요.처음에는 Claude Code를 순수하게 내부용으로 개발했습니다. 시장에서 성공할 줄은 전혀 예상하지 못했습니다. 그때까지 저희는 API에 모든 것을 걸었으니까요.시장의 반응은 우리가 예상했던 것보다 훨씬 좋았고, 특히 개발사들은 이 서비스의 가치를 바로 알아차리고 시장을 여는 열쇠가 되었습니다.

톰 브라운의 두 가지 직관적 충격: "수요 일치"와 "확장 법칙"

질문: Grouper와 Tinder의 차이점은 무엇인가요? 

톰 브라운: 그루퍼는 세 커플을 술집에서 만나게 한 작품으로, 흥미로운 아이디어였지만 성장이 제한적이었습니다. 틴더는 그루퍼(Grouper)를 개발하던 시절에 출시되었습니다. 틴더는 "매칭 전에 양쪽이 '좋아요'를 클릭하는" 메커니즘을 통해 온라인 데이트의 핵심적인 문제들을 해결했습니다.예를 들어, 거절당하는 고통을 줄이고 소녀들이 더 안전하게 경험할 수 있도록 해줍니다.이는 사용자의 요구를 더 잘 충족시키므로 Tinder의 솔루션이 성공적입니다.

그루퍼와 틴더는 두 가지 데이팅 앱입니다. 이 글에서 톰 브라운은 그루퍼의 창립자 마이클 왁스먼을 어떻게 만났는지 이야기하고, 틴더가 그루퍼보다 사회 문제에 더 나은 해결책을 제시한다고 설명합니다.

질문: 스케일링 로스는 당신에게 어떤 영감을 주었나요? 

톰 브라운:저는 스케일링 법칙이 우리 분야에서 가장 "어색하지만 효과적인" 발견이라고 생각합니다.원래 스케일링 법칙은 약 12의 배수인 직선과 같았는데, 이는 매우 큰 숫자입니다. 12의 배수를 넘는 것을 본 적이 없습니다. 그래서 저는 확신했습니다.저는 모든 노력을 스케일링에 집중하고 싶었습니다. 당시 많은 사람들이 GPU에 돈 낭비라고 말하며 불만을 표했지만, 스케일링 법칙의 결과는 안정적이었습니다. 저는 우리가 "어리석지만 유용한" 일을 감히 해야 한다고 생각합니다.

현재 AI 전략 및 미래 과제

질문: Anthropic은 컴퓨팅 성능과 인프라 측면에서 어떤 과제에 직면하고 있나요? 

톰 브라운: 지금 우리가 직면한 과제는 몇 년 전과는 완전히 다릅니다. 예전에는 좋은 모델 아이디어가 있는지 걱정했었습니다.현재 진짜 병목 현상은 컴퓨팅 성능과 에너지입니다. AGI 수준의 훈련에 필요한 GPU와 전력 소모량은 매년 세 배씩 증가하고 있으며, 이는 기술 역사상 거의 유례가 없는 속도입니다. 따라서 대규모 클러스터를 구축하고 에너지 사용을 최적화해야 합니다.

질문: Anthropic은 칩과 전략을 어떻게 계획하고 있나요? 

톰 브라운: 저희는 단 하나의 벤더에만 모든 것을 걸고 싶지 않습니다. 구글 TPU와 아마존 트라늄(Tranium)에도 투자하고 있습니다. 이는 엔지니어링 팀의 업무 복잡성을 가중시킵니다. 따라서 성능 엔지니어링 팀을 이 모든 플랫폼에 분산 배치해야 합니다.하지만 장기적으로 보면 이는 유연성을 높여줍니다. 한편으로는 전체적인 용량이 늘어나 추가 용량을 흡수할 수 있고, 다른 한편으로는 적절한 작업에 적절한 칩을 사용할 수 있습니다.

참조 링크:

1.https://www.youtube.com/watch?v=JdT78t1Offo&list=PLynUse_piAuGeHpk87iKkQKvZHlcMbNrE&index=6