속도가 곧 지능입니다! TileRT 팀원 마링샤오가 설명합니다: 초저지연 대규모 모델 추론을 위한 계산적 탐색 및 협업 설계.

8월 1일HyperAI가 주최한 제9회 Meet AI Compiler 기술 세미나가 베이징 중관춘에서 성공적으로 마무리되었습니다.이번 살롱은 업계 전문가들의 통찰력 있는 발표로 그 어느 때보다 큰 인기를 누렸습니다. 베이징 인공지능 연구원, TileRT 팀, 텐센트, 화웨이 어센드, 지위안 이노베이션 등 주요 기업 및 연구 기관의 기술 리더들이 한자리에 모여 AI 컴파일 분야의 최첨단 기술, 최적화 기법, 오픈 소스 생태계, 응용 시나리오에 대한 심도 있는 정보를 공유했습니다. 참석한 개발자와 전문가들에게 풍성하고 유익한 기술 행사를 제공했습니다.

현장에서,**TileRT 팀의 핵심 멤버인 마링샤오(Ma Lingxiao)는 "속도가 곧 지능이다: 초저지연 대규모 모델 추론을 위한 계산 탐색 및 협업 설계"라는 제목으로 TileRT의 최신 개발 사항에 대한 심도 있는 발표를 진행했습니다.**AI 컴파일러 및 런타임 아키텍처의 발전부터 모델-시스템 공동 설계, 그리고 Z.AI, Xiaomi MIMO, vLLM과 같은 여러 선도 기업 및 기술 커뮤니티와의 통합 결과 및 실제 사례에 이르기까지, 본 발표에서는 초저지연 대규모 모델 컴퓨팅을 위한 소프트웨어 스택을 자세히 설명합니다.

HyperAI는 연설의 원래 의미를 변경하지 않고 편집 및 요약했습니다. 다음은 연설 전문입니다.

추론 속도는 고부가가치 AI 시나리오에서 핵심적인 경쟁 우위 요소가 되었습니다.

ChatGPT는 2022년 말과 2023년 초에 등장하여 놀라운 성능을 보여주었습니다. 그러나 돌이켜보면 초기 모델들은 주로 채팅이나 친구 사귀기 같은 분야에서의 활용 가능성을 보여주었으며, 실제 가치는 계산 비용에 비해 훨씬 낮았습니다. 당시에는 대규모 모델의 출력 속도가 인간의 읽기 속도 정도면 충분했기 때문에, 전체 시스템 처리량에 초점을 맞추었지 모델의 출력 속도에는 신경 쓰지 않았습니다.

2025년 말부터 현재까지, 1년도 채 안 되는 기간 동안 클로드 코드(Claude Code)와 같은 코딩 에이전트의 등장은 대규모 모델의 표면 아래 숨겨진 잠재력을 드러냈습니다. 예를 들어, 사람들의 생산성 향상에 실질적으로 도움을 줄 수 있다는 점입니다. 이러한 경우, 컴퓨팅 파워 비용 대비 훨씬 높은 실질적 가치를 창출했습니다. 따라서,최근 컴퓨팅 성능에 대한 수요가 급증했는데, 이는 높은 처리량에 대한 필요성을 직접적으로 반영하는 것입니다.

이러한 발전 추세를 바탕으로 향후 모델 기능이 지속적으로 향상됨에 따라, 모델은 AI 팩토리, 정량적 의사결정, 실시간 위험 관리 프로젝트와 같은 더욱 자동화된 작업에 참여하게 될 것입니다. 이러한 시나리오에서 모델의 출력은 모델 자체가 되어 AI 자동화 워크플로우를 구축하게 됩니다. 이 단계에서,모델 실행 속도가 빠를수록 효율성이 높아집니다. 궁극적인 모델 속도는 생산성과 사용자 경험을 결정하는 핵심 요소가 될 것입니다.

최근 업계 소식들도 위의 추측을 하나둘씩 뒷받침하고 있습니다.

* 2025년 말, 엔비디아는 고속 추론 기능을 확장하기 위해 그롭(Grop)을 거액에 인수했습니다.

* 2026년 2월, 앤트로픽은 해당 기술의 고속 버전인 클로드 패스트(Claude Fast)를 출시했습니다.

* 같은 달에 OpenAI는 Cerebras와 협력하여 GPT-Codex-Spark를 출시했습니다.

* 5월에 세레브라스는 웨이퍼 레벨 칩 기술을 통해 1테라바이트(1T)급 모델에서 거의 1,000 TPS에 달하는 추론 속도를 달성했다고 발표했습니다.

* 또한, 불과 2~3주 전에 OpenAI는 Cerebras와 협력하여 자사의 가장 진보된 플래그십 모델인 GPT-5.6-Sol이 초당 750건의 트랜잭션을 처리하는 고속 추론 서비스를 제공할 수 있도록 했습니다.

테스트 시간 스케일링(TTS)은 실제로 모델 성능을 향상시키는 주요 방법입니다.주어진 시간 창(예: 10초)에서, 50토큰/초의 느린 모델 추론 서비스는 500개의 토큰으로 구성된 사고 정보만 생성할 수 있습니다. 하지만 추론 속도를 50토큰에서 1000토큰으로 높이면 10,000개의 토큰으로 구성된 사고 정보를 생성할 수 있습니다. 따라서 동일한 시간 창 내에서는 빠른 추론 속도가 더 나은 모델 지능을 제공하는 것은 당연합니다.

그래서 여러분은 이렇게 생각할 수도 있습니다. "TTS를 구현하는 방법은 여러 가지가 있는데, 예를 들어 일괄 처리만으로도 더 강력한 인공지능을 구현할 수 있는 Best-of-N 방식 같은 것이 있죠. 그렇다면 왜 속도를 추구해야 할까요?" 이는 TTS를 세분화해야 이해할 수 있는 부분입니다.**깊이와 너비 두 가지 측면을 모두 고려해 볼 때,**TTS(텍스트 음성 변환) 작업은 일괄 처리를 통해 목표를 달성할 수 있지만, 이 모델은 긴 사고의 사슬이나 일련의 에이전트 실행 링크 관점에서 직렬 모드로 작동합니다. 이는 일괄 처리로는 달성할 수 없으며, 직렬 처리의 깊이는 극도로 빠른 추론 속도를 통해서만 구현할 수 있습니다.

SWE-bench 실행 궤적, 특히 SWE-smith 실행 궤적 통계의 예를 살펴보겠습니다. 실제 실행 궤적을 보면 평균적으로 약 30번의 모델 실행 단계를 거쳐 10,000개의 토큰을 생성하는 것을 알 수 있습니다. 초당 50개의 토큰을 처리하는 속도라면 이 작업을 완료하는 데 약 200초, 즉 3분 이상이 걸립니다. 하지만 모델 속도를 초당 1,000개의 토큰으로 높이면 단 10초 만에 작업을 완료할 수 있습니다. 이는 완전히 다른 사용자 경험을 제공할 것입니다.일반적인 속도라면 대기 시간 때문에 작업이 중단될 수 있지만, 완료하는 데 몇 초밖에 걸리지 않는다면 완전히 실시간으로 상호 작용하는 과정을 경험하게 될 것입니다.

또한 다른 시나리오를 살펴보겠습니다. 예를 들어, 고빈도 양적 거래는 일반적으로 약 10밀리초 범위의 피드백을 필요로 하며, 실시간 음성 통화는 수백 밀리초 범위의 피드백을 필요로 할 수 있고, 금융 위험 관리 또한 수 초 범위의 피드백을 필요로 할 수 있습니다. 따라서 이러한 실시간 상호 작용 시나리오에서의 시간 피드백은 대략 수 초에서 10초 사이입니다. 이러한 시간 임계값을 충족할 수 없다면 해당 시나리오에서 모델을 제대로 구현할 수 없습니다.

그러므로 우리는 추론 속도를 한계까지 끌어올릴 것입니다.한편으로는 더 많은 응용 시나리오를 지원하고, 다른 한편으로는 더욱 강력한 모델 지능을 생성할 수 있도록 지원하고자 합니다.

알고리즘, 시스템 및 하드웨어의 협업을 통해 최대 속도 향상을 달성합니다.

그렇다면 모델의 디코딩 속도를 어떻게 극대화할 수 있을까요? 이는 실제로 세 가지 요소에 의해 결정됩니다.첫 번째는 하드웨어 자체의 성능입니다.컴퓨팅 성능, 대역폭 및 상호 연결성을 포함하여 디코딩 속도의 상한선을 결정합니다.두 번째는 소프트웨어 시스템의 효율성입니다.다시 말해, 하드웨어가 제공하는 성능을 극대화하는 방법입니다.세 번째는 알고리즘입니다.예를 들어, 양자화를 통해 계산량과 메모리 접근을 줄이거나 투기적 디코딩과 같은 방법을 사용하면 단일 순방향 계산에서 더 많은 토큰을 생성할 수 있습니다.

먼저 시스템 효율성을 살펴보겠습니다.기본 원리부터 살펴보면, 모델 추론의 실제 속도와 하드웨어가 제공하는 이론적 최대 속도 사이에는 여전히 상당한 격차가 존재합니다. 이는 계산 자체 외에도 커널 시작, 스케줄링, 동기화, 통신과 같은 실행 중 고정 오버헤드가 발생하기 때문입니다. 하드웨어 성능이 지속적으로 향상됨에 따라 이러한 오버헤드는 더욱 두드러지게 나타나며, 저지연 추론의 주요 병목 현상이 되고 있습니다.

CUDA Graph나 PDL처럼 이러한 고정 오버헤드를 줄이는 기존 기술들이 이미 많이 존재합니다. CUDA Graph는 주로 커널 실행 오버헤드를 줄여주고, PDL은 두 커널이 사전에 의존성과 파이프라인을 설정할 수 있도록 하지만, 본질적으로는 1홉 오버랩만 수행할 수 있습니다. 궁극적인 성능을 달성하기에는 이것으로는 턱없이 부족합니다. 더 나아가기 위해서는 커널 자체에 의해 형성된 실행 경계를 허물고 스케줄링의 세분성을 더욱 분산시켜야 합니다.이를 통해 원래 서로 다른 커널로 분리되어 있던 연산, 메모리 접근 및 통신이 더욱 완벽하게 중첩될 수 있습니다.

사실 커널 융합은 새로운 개념이 아닙니다. DNN 시대에 많은 연구가 진행되어 왔습니다. 저희는 이전에 Rammer, Roller, Welder, Cocktailer, Ladder, PipeThreader 등 다양한 접근 방식을 통해 연산자 간 스케줄링, 커널 생성, 메모리 접근, 동적 제어 흐름, 저정밀 연산, 소프트웨어 파이프라인 처리와 같은 문제를 해결하고자 했습니다.점차적으로 그래프 수준 최적화부터 타일 수준에서의 세밀한 실행에 이르기까지 다양한 컴파일 기능이 개발되었습니다.다양한 하드웨어 및 실제 시나리오에서 검증되었습니다.

하지만 이러한 기능은 대규모 모델 추론에 직접적으로 적용될 수는 없습니다.기존 DNN과 비교했을 때, LLM 시대는 세 가지 새로운 과제를 제시합니다.하드웨어 성능 향상으로 스케줄링 및 통신과 같은 고정 오버헤드가 더욱 두드러지게 나타나고, MoE 라우팅, 희소 연산, 투기적 디코딩 메커니즘은 런타임의 동적 특성을 높이며, 모델 크기 확대로 인해 카드 간 및 머신 간 협업이 더욱 보편화되고 있습니다. 따라서 LLM 기반 컴파일 시스템은 세밀한 실행, 동적 스케줄링, 분산 협업을 동시에 처리해야 합니다.

이러한 어려움에 직면하여,TileRT의 핵심 아이디어는 커널을 소프트웨어 스케줄링의 기본 경계로 더 이상 간주하지 않고, 이 경계를 더욱 허물어 실행을 더 세밀하게 분해하고, 전역적인 관점에서 연산, 메모리 접근 및 통신을 재구성하는 것입니다.

먼저 기존 프레임워크의 스케줄링 프로세스를 살펴보겠습니다. 대규모 모델의 경우, 일반적으로 연산 그래프로 표현된 후 OP별, 커널별로 하드웨어에 배포되어 실행됩니다. 각 커널은 자체적인 시작, 연산 및 동기화 프로세스를 가지며, 커널의 경계로 인해 서로 다른 단계 간의 중복이 제한됩니다.

TileRT는 바로 이러한 경계를 허무는 것을 목표로 합니다. 커널 내의 연산을 더욱 세분화된 타일 수준의 작업으로 분해함으로써, 소프트웨어는 기존 커널 경계를 넘어 실행 순서를 재배열할 수 있습니다. 이를 통해 이미 종속성을 충족하는 후속 연산, 메모리 접근 및 통신이 더 일찍 시작되어 더욱 효율적인 파이프라인을 형성할 수 있습니다. 본질적으로, 우리는 단순히 여러 커널을 하나의 큰 커널로 병합하는 것이 아니라, 커널의 스케줄링 공간에 대한 제약을 깨뜨려 이전에는 불가능했던 더 많은 중첩을 달성하는 것입니다.

TileRT는 실제 사례 연구를 통해 자사 기술의 실현 가능성을 검증합니다.

TileRT는 먼저 모델을 데이터 흐름 그래프로 표현한 다음 타일 수준의 마이크로커널을 생성합니다. 그런 다음 세밀한 컴파일 및 스케줄링을 수행하여 실행 엔진을 생성합니다. 이 엔진은 연산, 메모리 접근 및 통신을 조율하고, 장치 성능을 최대한 활용하기 위해 작업을 다양한 하드웨어 장치에 매핑합니다.

이러한 방법론을 사용하여 TileRT는 이미 실제 운영 환경에서 검증되었습니다. 올해 5월에는 Zhipu GLM 팀과 협력하여 GLM-5.1-HighSpeed 고속 추론 서비스를 출시했습니다.이 장비는 초당 400개의 토큰을 처리하는 생산 수준의 출력 속도를 달성했습니다.대표적인 최적화 사례로 GLM-5.1의 희소 어텐션(Sparse Attention)을 들 수 있습니다. 기존의 텐서 병렬 처리(Tensor Parallels) 방식은 일반적으로 동일한 연산 로직을 여러 GPU에서 실행하는 반면, TileRT는 이를 이기종 워커로 분산시킵니다. 하나의 GPU는 희소 인덱서(Sparse Indexer), Top-K 선택 및 라우팅을 처리하고, 나머지 7개의 GPU는 MLA 및 어텐션과 같은 연산 집약적인 작업을 처리합니다. 통신, 축소 및 동기화는 타일 레벨 파이프라인에 통합되어 각 단계에서 특정 특성에 더욱 적합한 확장 방식을 채택할 수 있도록 함으로써 중복 연산과 동기화 대기 시간을 줄입니다. MTP를 사용하지 않을 경우, 짧은 시퀀스의 생성 속도는 약 300 토큰/초, 긴 시퀀스의 생성 속도는 약 200 토큰/초입니다. MTP-3을 활성화하고 평균 수신 길이를 3.2로 설정하면 짧은 시퀀스는 600 토큰/초 이상, 긴 시퀀스는 약 400 토큰/초까지 처리 속도를 높일 수 있습니다.

더욱 빠른 속도를 원한다면 토큰의 각 바이트의 출력 효율도 최적화해야 합니다.바이트당 토큰 출력을 최적화하려면 두 가지 측면을 고려해야 합니다.한편으로는 단계당 더 많은 토큰을 생성하기 위해 MTP 또는 DFlash나 DSpark와 같은 보다 적극적인 투기적 디코딩 방식을 사용할 수 있습니다. 다른 한편으로는 데이터 양을 줄이기 위해 일부 양자화 방법을 사용하여 토큰당 필요한 데이터 양을 줄일 수 있습니다.

지난 6월, 저희는 샤오미 MiMo 팀과 협력하여 이러한 아이디어를 바탕으로 모델과 시스템을 설계했습니다.양자화 측면에서 MiMo-V2.5-Pro의 MoE Expert 모듈은 모델 파라미터의 대부분을 차지합니다. 따라서 Expert 모듈만 FP4 QAT를 사용하여 양자화되고, 다른 모듈은 원래의 정확도를 유지합니다. 벤치마크 결과, 양자화된 모델의 전반적인 성능은 기존 FP8 모델과 거의 유사하면서도 모델 크기와 메모리 접근 부하를 크게 줄인 것으로 나타났습니다. 투기적 디코딩의 경우, DFlash는 블록 수준의 병렬 예측을 사용하여 각 순방향 패스에서 후보 토큰 세트를 생성하고, 이를 메인 모델에서 균일하게 검증함으로써 기존 자기회귀 드래프팅의 직렬 오버헤드를 줄입니다.

이 모델들은 시스템과의 협업 최적화에 사용됩니다.MiMo-V2.5-Pro-UltraSpeed는 단일 범용 8-GPU 노드에서 1T 모델에 대해 초당 1000개 이상의 토큰 생성 속도를 최종적으로 달성했습니다.더욱 중요한 것은, 이 결과가 웨이퍼 레벨 또는 기타 전용 추론 칩에 의존하지 않고 얻어졌다는 점입니다. 이는 충분한 모델-시스템 협업을 통해 범용 GPU가 이전에는 전용 하드웨어에서만 달성 가능했던 극단적인 추론 속도 범위를 뛰어넘을 수 있음을 보여줍니다. 이 결과는 시스템 성능이 하드웨어 한계에 점차 접근함에 따라, 추가적인 속도 향상은 더 이상 추론 엔진 자체의 문제만이 아니라 모델 구조, 컴파일 시스템 및 하드웨어 실행 방식의 공동 발전을 필요로 한다는 것을 시사합니다.

물론, 단순히 극단적인 디코딩 속도만을 추구하는 것은 충분하지 않습니다. 진정으로 활용 가능한 대규모 모델 서비스는 OpenAI 호환 API, 요청 스케줄링, 접두사 캐싱, 도구 호출 및 성숙한 운영 기능 또한 필요로 합니다. 고속 디코딩 엔진을 통합하기 위해 전체 서비스 시스템을 재구축해야 한다면 엔지니어링 비용이 엄청나게 높아질 것입니다. 따라서,저희는 vLLM 커뮤니티와 협력하여 TileRT가 성숙한 vLLM 생태계를 활용하면서 저지연 디코딩에 집중할 수 있도록 했습니다.

프리필과 디코딩의 분리는 이러한 결합을 위한 견고한 기반을 제공합니다. 프리필과 디코딩이 분리됨에 따라 디코딩 측은 플러그형 실행 엔진으로 활용될 수 있습니다. TileRT와 vLLM을 결합한 솔루션에서 프리필, 요청 스케줄링, 청크 프리필, 접두사 캐시 및 서비스 API는 기존 vLLM에서 계속 제공됩니다. 단일 사용자 생성 속도가 매우 빠른 요청만 TileRT 디코딩 풀에 포함됩니다. 이를 통해 vLLM의 모든 기능을 유지하면서 TileRT의 초저지연 디코딩 성능을 도입할 수 있습니다.

TileRT는 구현 시 vLLM의 노출된 커넥터 인터페이스를 통해 완전히 연결되므로 vLLM을 수정하거나 포크할 필요가 없으며, 내부 워커에도 어떠한 접근도 필요하지 않습니다. 라우팅 계층은 지연 시간에 민감한 요청을 표시하고, TileRT 커넥터는 이러한 요청만 수락합니다. 다른 요청은 기존 vLLM 처리 경로를 따릅니다. 두 개의 디코딩 풀은 동일한 vLLM 프리필 서비스를 공유할 수 있습니다. 프리필에서 생성된 상태는 NIXL 또는 Mooncake와 같은 전송 엔진을 통해 해당 디코딩 노드로 전달되어 후속 프리필 프로세스와 병렬로 실행됩니다.

따라서 동일한 배포 환경 내에서 실시간 에이전트 및 대화형 코딩과 같이 지연 시간에 민감한 요청은 TileRT로 라우팅할 수 있으며, 높은 동시성과 전반적인 처리량을 목표로 하는 일반 요청은 vLLM 네이티브 디코딩 엔진에서 계속 처리됩니다. 두 경로 모두 동일한 OpenAI 호환 API를 제공하며, 서비스 간 전환은 라우팅 전략만 조정하면 됩니다.이를 통해 TileRT와 vLLM은 각자의 강점을 활용하는 진정한 이기종 추론 서비스 아키텍처를 구축할 수 있습니다.

TileRT 생태계는 점차 성장하고 있습니다.

현재 TileRT는 다양한 모델과 생태계 배포를 지원합니다.

작년 말, 저희는 DeepSeek v3.2용 프로토타입 어댑터를 출시했는데, 이 어댑터는 초당 500건의 추론 속도를 달성할 수 있습니다.

올해 5월, 저희는 Zhipu와 함께 GLM-5.1의 고속 버전을 출시하여 초당 400~600건의 추론 서비스를 구현했습니다.

올해 6월, 저희는 샤오미 MIMO와 협력하여 1T급 모델 최초로 1000 TPS를 달성하며 전 세계 추론 속도 기록을 경신했습니다.

이후 당사는 MIND LAB과 협력하여 고속 멀티 LoRa 추론을 지원하는 최초의 플랫폼을 출시하여 5초 이내에 실시간 UI 제작이 가능하도록 했습니다.

마지막으로, vLLM 커뮤니티와의 협력을 통해 수정이 전혀 필요 없고 생태계 호환성을 지원하는 이기종 PD 분리 배포 솔루션을 출시했습니다.

마지막으로, Tile-AI 커뮤니티의 최신 개발 소식을 전해드립니다. Tile-AI 커뮤니티는 Tile을 기반으로 재설계된 소프트웨어 생태계로, 특히 대규모 모델과 새로운 하드웨어 아키텍처(잘 알려진 TileLang 포함)에 맞춰 개발되었습니다. TileScale은 인밴드 분산 코어 아키텍처를 포함한 분산 아키텍처용으로 설계된 프로그래밍 및 컴파일 프레임워크입니다.여기에는 다이 간 상호 연결, 칩 간 상호 연결, 그리고 다중 머신 상호 연결도 포함됩니다. 우리는 Tile에 대한 설명에서 이러한 다계층 분산 구조를 통합하고 추상화하여 프레임워크를 설계했습니다. TileRT는 위에서 설명한 초고속 추론을 위한 엔진입니다.

또한 최근 TileFoundry와 TileOPs를 출시했습니다. TileFoundry는 AI 기반 프레임워크로 연산자를 자동으로 생성하며, 그 결과물인 TileOPs는 대규모 모델을 위한 TileLang 연산자 라이브러리입니다. 이와 동시에 타일 수준의 성능 모델링을 위한 성능 분석 모델인 TileSight도 곧 출시할 예정입니다. TileSight는 타일 수준의 프로그램 성능 최적화 및 아키텍처 탐색 분석에 대한 지침을 제공합니다.