구글, 신형 TPU 8tx·8i Max 공개
구글이 에이전트 중심 인공지능 시대에 대응하기 위해 8세대 텐서 프로세싱 유닛 포트폴리오를 확장했다. 지난 4월 클라우드 네트에서 대규모 학습용 8티와 실시간 추론용 8아이를 공개한 데 이어 이번에는 초대형 컨텍스트 처리와 랙당 최고 연산 밀도를 갖춘 8아이맥스, 보안과 비공개 추론에 특화된 8티에스엑스를 추가로 내놓았다. 한 해에 네 종류의 텐서 프로세싱 유닛 시스템을 공개한 것은 처음이다. 8티와 8아이는 기존 세대 대비 학습 성능은 최대 2.7배, 추론 가격 대비 성능은 80% 개선한 것으로 소개됐다. 이번 발표는 칩 자체보다 칩을 중심으로 컴퓨팅, 네트워킹, 메모리, 스토리지를 구성하는 시스템 설계에 초점을 둔다. 8티에스엑스는 8티와 같은 실리콘 기반에 5세대 에이엠디 에픽 중앙처리장치 호스트를 결합하고, 데이터가 저장·전송되는 상태뿐 아니라 메모리에서 처리되는 동안에도 보호되는 하드웨어 수준의 기밀 컴퓨팅을 제공한다. 이를 통해 규제 환경의 기업과 정부는 중요한 데이터와 모델 가중치를 분리된 상태로 유지하면서 소규모 학습, 파인튜닝, 모델 증류, 강화학습형 에이전트 훈련까지 한 시스템에서 수행할 수 있다. 8아이에서 적용한 낮은 지연시간 보드플라이 네트워크를 공유해 8티 대비 최대 2배 낮은 지연시간을 내면서도 성능 손실을 최소화했다. 8아이맥스는 100만 토큰급 컨텍스트와 다단계 에이전트 추론 요구에 맞춰 랙당 연산 밀도를 높인 구성이다. 구글은 같은 날 개발자 접근성을 높이는 소프트웨어 스택도 공개했다. 파이토치와 허깅페이스 모델이 텐서 프로세싱 유닛에서 네이티브로 실행되도록 지원하고, 주요 추론 엔진과의 호환성을 강화했다. 코딩 도구와 연동하는 에이전트 도구군은 장비 설치, 병목 진단, 커널 자동 조정을 지원한다. 에이전트가 외부 대기 등으로 유휴 상태가 되면 메모리를 다른 계층으로 즉시 옮겨 전력 비용을 줄이는 기능도 포함됐다. 메모리 병목을 완화하는 토큰 동기화 계층은 고대역폭 메모리, 중앙처리장치 메모리, 공유 스토리지, 네트워크를 하나의 메모리 계층으로 통합해 큰 키밸류 캐시를 밀리초 단위로 계층화하고 첫 토큰 응답 시간을 90% 이상 단축할 수 있다고 밝혔다. 이밖에 구글 쿠버네티스 엔진의 동적 슬라이싱과 클라우드 패스웨이즈로 대규모 분산 작업을 단일 시스템처럼 관리하고 작업 시작과 장애 복구 시간을 개선했다. 구글은 자체 음성 인식과 번역 수요로 10년 전 텐서 프로세싱 유닛을 처음 만든 뒤 현재 약 100개 고객사에 공급하는 사업으로 확대했다고 밝혔다. 자체 모델 개발, 에이전트 추론, 클라우드 고객 제공, 고객 데이터센터 직접 배포로 수요가 넓어지는 가운데 이번 발표는 보안과 대형 컨텍스트라는 새로운 요구에 맞춘 목적형 가속기 전략을 강화한 것으로 해석된다.
