8月1日HyperAIが主催する第9回Meet AI Compiler技術サロンが、北京の中関村で盛況のうちに閉幕した。このサロンは例年通り大盛況で、業界のエキスパートによる洞察に満ちたプレゼンテーションが行われました。北京人工知能研究院、TileRTチーム、テンセント、ファーウェイ・アセンド、智源イノベーションといった主要企業や研究機関の技術リーダーが一堂に会し、AIコンパイル分野における最先端技術、基盤となる最適化、オープンソースのエコシステム、そして応用シナリオに関する深い知見を共有しました。参加した開発者や専門家にとって、豊かで有益な技術情報の宝庫となりました。

現場で、TileRTチームの中核メンバーである馬凌暁氏は、「スピードこそ知能：超低遅延大規模モデル推論のための計算探索と協調設計」と題した、TileRTの最新開発状況に関する詳細なプレゼンテーションを行った。AIコンパイラやランタイムアーキテクチャの進化から、モデルシステム協調設計、Z.AI、Xiaomi MIMO、vLLMといった多くの主要企業や技術コミュニティとの統合成果や実例に至るまで、本プレゼンテーションでは、超低遅延で大規模モデルコンピューティングを実現するためのソフトウェアスタックを詳細に解説します。

HyperAIは、元の意味を変えることなく、このスピーチを編集・要約しました。以下はスピーチの書き起こしです。

推論速度は、高付加価値AIのシナリオにおいて、重要な競争優位性となっている。

ChatGPTは2022年末から2023年初頭にかけて登場し、驚異的な能力を示しました。しかし、振り返ってみると、初期のモデルは主にチャットやコミュニケーションといった分野での応用を実証しており、その実際の価値は計算コストをはるかに下回っていました。大規模モデルの出力は、人間の読書速度に追いつくだけで十分でした。当時、焦点はモデルの出力速度ではなく、システム全体の処理能力に置かれていたのです。

2025年末から現在まで、わずか1年足らずで、Claude Codeのようなコーディングエージェントの出現により、大規模モデルの表面下に隠された、人々の生産性向上に真に役立つといった、より多くの潜在能力が明らかになった。この場合、計算能力のコストと比較して、実際に高い実用的価値を生み出している。したがって、近年、コンピューティング能力に対する需要が急増しているが、これは高スループットへのニーズの高まりを直接的に反映したものである。

この発展傾向に基づくと、モデルの能力が向上し続けるにつれて、モデルは必然的にAIファクトリー、定量的意思決定、リアルタイムリスク管理プロジェクトなどの自動化されたタスクに参加するようになるでしょう。このシナリオでは、モデルの出力はモデル自体となり、AI自動化ワークフローが構築されます。この段階では、モデルの実行速度が速ければ速いほど、効率は高くなります。最終的なモデル速度は、生産性とユーザーエクスペリエンスを決定づける重要な要素となるでしょう。

最新の業界ニュースも、上記の憶測を次々と裏付けている。

* 2025年後半、Nvidiaは高速推論機能を拡張するために、Gropを巨額で買収した。

* 2026年2月、アントロピック社は、この技術の高速版であるクロード・ファストを発表した。

* 同じ月に、OpenAIはCerebrasと共同でGPT-Codex-Sparkをリリースした。

* 5月、Cerebrasは、ウェハーレベルチップ技術を用いて、1Tレベルのモデルで1秒あたり約1,000TPSの推論速度を達成したと発表した。

* さらに、わずか2、3週間前には、OpenAIはCerebrasと提携し、同社の最先端フラッグシップモデルであるGPT-5.6-Solを用いて、750 TPSの高速推論サービスを提供できるようにしました。

テスト時スケーリング（TTS）は、実際にはモデルのパフォーマンスを向上させる主要な方法です。例えば10秒という時間枠を想定すると、50トークン/秒という低速なモデル推論サービスでは、500トークンの思考しか生成できません。しかし、推論速度を50トークンから1000トークンに上げると、10,000トークンの思考を生成できます。同じ時間枠内であれば、推論速度が速いほど、モデルの知能が向上することは間違いありません。

そこで、あなたはこう思うかもしれません。「Best-of-N のように、バッチ処理だけでより高度なインテリジェンスを実現できる TTS の実装方法はたくさんあるのに、なぜ速度を追求するのか？」と。これには TTS を分解して考える必要があります。深さと幅の両方の観点から考えると、テキスト音声合成（TTS）タスクはバッチ処理によって目的を達成できますが、このモデルは、長い思考の流れや一連のエージェント実行リンクという観点から見ると、直列モードで動作します。これはバッチ処理では実現不可能であり、直列処理の深度は極めて高速な推論によってのみ達成できます。

SWE-benchの軌跡、具体的にはSWE-smithの軌跡統計の例を見てみましょう。実際の実行軌跡を見ると、平均して約30回のモデル実行ステップで10,000個のトークンが生成されています。50トークン/秒の速度では、これには約200秒、つまり3分以上かかります。しかし、モデルの速度を1000トークン/秒に上げると、わずか10秒でタスクを完了できます。これは全く異なる体験となるでしょう。通常の速度では、待ち時間によって作業が中断される可能性があるが、完了までに数秒しかかからない場合は、完全にリアルタイムのインタラクティブなプロセスを体験できる。

さらに、他のシナリオも見てみましょう。例えば、高頻度定量取引では通常10ミリ秒程度のフィードバックが必要であり、リアルタイム音声通話では数百ミリ秒程度のフィードバックが必要となる場合があり、金融リスク管理でも数秒程度のフィードバックが必要となる場合があります。したがって、これらのリアルタイムインタラクションシナリオにおける時間フィードバックは、おおよそ数秒から10秒の間になります。これらの時間閾値を満たせない場合、このモデルはこれらのシナリオで真に実装することはできません。

したがって、我々は推論速度を限界まで高めるつもりだ。一方では、より多くの応用シナリオを可能にすることを目指しており、他方では、より強力なモデルインテリジェンスの生成を促進することも目指しています。

アルゴリズム、システム、ハードウェアの協調的なアプローチにより、最大限の速度向上を実現する。

では、モデルのデコード速度を最大化するにはどうすればよいでしょうか？これは実際には3つの要因によって決まります。まず一つ目は、ハードウェア自体の性能です。計算能力、帯域幅、相互接続性などを含め、復号速度の上限を決定します。2つ目は、ソフトウェアシステムの効率性です。言い換えれば、ハードウェアが提供する性能を最大限に引き出す方法。3つ目はアルゴリズムです。例えば、量子化によって計算量とメモリへのアクセスを削減したり、投機的復号などの手法を用いることで、1回の順方向計算からより多くのトークンを生成することができる。

まずはシステムの効率性について見ていきましょう。根本原理から考えると、モデル推論の実際の速度とハードウェアが提供する理論上の上限速度の間には、依然として大きな隔たりがあります。これは、計算自体に加えて、カーネルの起動、スケジューリング、同期、通信といった実行中の固定オーバーヘッドが存在するためです。ハードウェアの性能が向上し続けるにつれて、これらのオーバーヘッドはますます顕著になり、低遅延推論における主要なボトルネックとなりつつあります。

CUDA GraphやPDLなど、こうした固定オーバーヘッドを削減するための既存技術は既に数多く存在します。CUDA Graphは主にカーネル起動時のオーバーヘッドを削減する一方、PDLは2つのカーネルが事前に依存関係やパイプラインを確立することを可能にしますが、本質的には1ホップのオーバーラップしか実現できません。究極のパフォーマンスを実現するには、これだけでは到底不十分です。さらに、カーネル自体によって形成される実行境界を打破し、スケジューリングの粒度をさらに分散化する必要があります。これにより、従来は異なるカーネルによって分離されていた計算、メモリアクセス、および通信が、より完全に連携できるようになる。

実際、カーネル融合は新しい概念ではなく、DNN時代から多くの研究が行われてきました。私たちはこれまで、クロスオペレータースケジューリング、カーネル生成、メモリアクセス、動的制御フロー、低精度計算、ソフトウェアパイプライン処理といった課題について、Rammer、Roller、Welder、Cocktailer、Ladder、PipeThreaderなど、一連の研究を行ってきました。徐々に、グラフレベルの最適化からタイルレベルでのきめ細かな実行まで、コンパイル機能が開発されてきた。様々なハードウェア環境および実世界のシナリオにおいて検証済みです。

しかし、これらの機能は大規模モデルの推論に直接適用できるものではない。従来のDNNと比較して、LLMの時代は3つの新たな課題をもたらします。ハードウェア性能の向上により、スケジューリングや通信といった固定オーバーヘッドがより顕著になり、MoEルーティング、スパース計算、投機的デコード機構によって実行時のダイナミズムが高まり、モデルサイズの拡大によってカード間およびマシン間の連携がより一般的になる。したがって、LLM指向のコンパイルシステムは、きめ細かな実行、動的なスケジューリング、および分散連携を同時に処理する必要がある。

これらの課題に直面し、TileRTの核心的な考え方は、カーネルをソフトウェアスケジューリングの基本的な境界とみなすのではなく、この境界をさらに打ち破り、実行をより細かい粒度に分解し、グローバルな視点から計算、メモリアクセス、通信を再構築することにある。

まず、既存のフレームワークにおけるスケジューリングプロセスを見てみましょう。大規模なモデルの場合、通常は計算グラフとして記述され、その後、OP（演算オブジェクト）ごと、カーネルごとにハードウェアに展開され実行されます。各カーネルは独自の起動、計算、同期プロセスを持ち、カーネルの境界によって、異なるステージ間の重複領域も制限されます。

TileRTはまさにこの境界を打ち破ることを目指しています。カーネル内の計算をより細かいタイルレベルのタスクに細分化することで、ソフトウェアは既存のカーネル境界を越えて実行順序を再編成できます。これにより、既に依存関係を満たしている後続の計算、メモリアクセス、通信をより早く開始できるようになり、より緊密なパイプラインが形成されます。つまり、複数のカーネルを単に1つの大きなカーネルに統合するのではなく、カーネルのスケジューリング空間の制限を打ち破り、これまで不可能だったオーバーラップを実現するのです。

TileRTは、実際の事例研究を用いて自社技術の実現可能性を検証している。

TileRTはまずモデルをデータフローグラフとして表現し、次にタイルレベルのマイクロカーネルを生成します。その後、きめ細かなコンパイルとスケジューリングを実行して実行エンジンを生成します。このエンジンは、計算、メモリアクセス、通信をオーケストレーションし、タスクを異なるハードウェアユニットにマッピングすることで、デバイスのパフォーマンスを最大限に活用します。

この手法を用いることで、TileRTは既に実際の運用サービスにおいて有効性が実証されています。今年5月には、Zhipu GLMチームと提携し、高速推論サービス「GLM-5.1-HighSpeed」をリリースしました。毎秒400トークンという、実用レベルの出力速度を実現した。代表的な最適化の 1 つは、GLM-5.1 のスパース アテンションです。従来の Tensor Parallels では、通常、異なる GPU が同じ計算ロジックを実行しますが、TileRT ではそれを異なる異種ワーカーに分割します。1 つの GPU がスパース インデクサ、トップ K 選択、ルーティングを処理し、他の 7 つの GPU が MLA やアテンションなどの計算負荷の高いタスクを処理します。通信、削減、同期は、タイル レベルのパイプラインにさらに統合されます。これにより、異なるステージがそれぞれの特性により適したスケーリング方法を採用できるようになり、冗長な計算と同期待ちが削減されます。MTP がない場合、短いシーケンスの生成速度は約 300 トークン/秒、長いシーケンスの生成速度は約 200 トークン/秒です。MTP-3 が有効で平均受信長が 3.2 の場合、短いシーケンスは 600 トークン/秒を超え、長いシーケンスは約 400 トークン/秒になります。

さらに高速化を目指すなら、トークンの各バイトの出力効率を最適化する必要もある。バイトあたりのトークン出力を最適化するには、次の2つの点を考慮する必要があります。一方では、ステップごとに生成するトークン数を増やしたいので、MTPやDFlash、DSparkのようなより積極的な投機的復号方式を利用できます。他方では、量子化手法を用いてデータ量を削減することで、トークンあたりのデータ量を減らすことができます。

6月には、このアイデアに基づいて、Xiaomi MiMoチームと協力してモデルとシステムを設計しました。量子化に関しては、MiMo-V2.5-Pro の MoE Expert モジュールがモデルパラメータの大部分を占めています。そのため、Expert モジュールのみが FP4 QAT を使用して量子化され、他のモジュールは元の精度を維持します。ベンチマークによると、量子化されたモデルの全体的なパフォーマンスは元の FP8 モデルに近く、モデルサイズとメモリアクセスの負荷が大幅に削減されています。投機的復号では、DFlash はブロックレベルの並列予測を使用し、各順方向パスで候補トークンのセットを生成し、それをメインモデルで一律に検証することで、従来の自己回帰ドラフトのシリアルオーバーヘッドを削減します。

これらのモデルは、システムとの協調最適化に使用されます。MiMo-V2.5-Pro-UltraSpeedは最終的に、単一の汎用8GPUノード上で1Tモデルに対して1000トークン/秒を超える生成速度を達成しました。さらに重要なことに、この結果はウェハーレベルやその他の専用推論チップに依存しておらず、モデルとシステムの十分な連携によって、汎用GPUでもこれまで専用ハードウェアでしか達成できなかった極めて高速な推論速度を実現できることを示している。この結果は、システム性能が徐々にハードウェアの限界に近づくにつれて、さらなる速度向上は推論エンジン自体だけの問題ではなく、モデル構造、コンパイルシステム、およびハードウェア実行方法の共同進化が必要となることを示している。

もちろん、極限のデコード速度を追求するだけでは十分ではありません。真に実用的な大規模モデルサービスには、OpenAI互換API、リクエストスケジューリング、プレフィックスキャッシュ、ツール呼び出し、成熟した運用機能も必要です。高速デコードエンジンを統合するためだけにサービスシステム全体を再構築しなければならないとしたら、エンジニアリングコストは法外に高くなります。したがって、私たちはvLLMコミュニティと提携し、TileRTが成熟したvLLMエコシステムを活用しながら、低遅延デコードに注力できるようにしました。

プリフィルとデコードの分離は、この組み合わせの強固な基盤となります。プリフィルとデコードが分離されているため、デコード側はプラグイン可能な実行エンジンになります。TileRTとvLLMを組み合わせたソリューションでは、プリフィル、リクエストスケジューリング、チャンクプリフィル、プレフィックスキャッシュ、およびサービスAPIは、引き続きネイティブvLLMによって提供されます。シングルユーザー生成速度の要件が高いリクエストのみがTileRTデコードプールに入ります。これにより、vLLMのエコシステム機能をすべて維持しながら、TileRTの超低遅延デコード性能を導入できます。

TileRTは実装において、vLLMの公開コネクタインターフェースを介して完全に接続するため、vLLMの変更やフォーク、内部ワーカーへの侵入は一切不要です。ルーティング層はレイテンシに敏感なリクエストをマークし、TileRTコネクタはこれらのリクエストのみを受け入れます。その他のリクエストは、vLLMのネイティブ処理パスに従います。2つのデコードプールは同じvLLMプリフィルサービスを共有できます。プリフィルによって生成された状態は、NIXLやMooncakeなどのトランスポートエンジンを介して対応するデコードノードに渡され、後続のプリフィル処理と並行して実行されます。

したがって、同一のデプロイメント環境内では、リアルタイムエージェントやインタラクティブコーディングなど、レイテンシに敏感なリクエストはTileRTにルーティングされ、高い同時実行性と全体的なスループットを目標とする通常のリクエストは、引き続きvLLMネイティブデコードエンジンによって処理されます。どちらのパスも同じOpenAI互換APIを提供するため、サービスを切り替えるにはルーティング戦略を調整するだけで済みます。これにより、TileRTとvLLMは、それぞれが持つ強みを活かしながら、真に共存する異種推論サービスアーキテクチャを構築することが可能になります。

TileRTのエコシステムは徐々に成長している。

現在、TileRTは複数のモデルと複数のエコシステム展開をサポートしています。

昨年末、当社はDeepSeek v3.2用のプロトタイプアダプタをリリースしました。これは500 TPSの推論速度を実現できます。

今年5月、当社とZhipuはGLM-5.1の高速版をリリースし、400～600 TPSの推論サービスを実現しました。

今年6月、当社はXiaomi MIMOと協力し、1Tレベルのモデルで初めて1000 TPSという画期的な性能を達成し、世界の推論速度記録を更新しました。

その後、MIND LABと提携し、高速マルチLoRa推論をサポートする初のプラットフォームをリリースしました。これにより、5秒以内にリアルタイムUI生成が可能になりました。

最後に、vLLMコミュニティとの協力のもと、一切の変更を必要とせず、エコシステムとの互換性をサポートする、共存型の異種PD分離デプロイメントソリューションをリリースしました。

最後に、Tile-AIコミュニティの最新情報をお伝えします。Tile-AIコミュニティは、Tileをベースに再設計されたソフトウェアエコシステムであり、特に大規模モデルや、よく知られているTileLangを含む新しいハードウェアアーキテクチャ向けに開発されています。 TileScaleは、インバンド分散コアアーキテクチャを含む分散アーキテクチャ向けに設計されたプログラミングおよびコンパイルフレームワークです。これには、ダイ間相互接続、チップ間相互接続、およびマルチマシン間相互接続も含まれます。Tileの説明では、この多層分散構造を統一的に抽象化し、フレームワークを設計しました。TileRTは、上記のような極めて高速な処理を実現する推論エンジンです。

さらに、先日TileFoundryとTileOPsをリリースしました。TileFoundryはAIを活用した演算子自動生成フレームワークで、その出力は大規模モデル向けのTileLang演算子ライブラリであるTileOPsです。同時に、タイルレベルのパフォーマンスモデリングを主眼としたパフォーマンス分析モデルであるTileSightも間もなくリリース予定です。TileSightは、タイルレベルのプログラムパフォーマンス最適化やアーキテクチャ探索分析のための指針を提供します。