Command Palette
Search for a command to run...
イベント概要｜コンパイル最適化からシナリオアプリケーションまで：エージェント時代におけるAIコンパイラ技術革新と実装経験に関する多角的分析
8月1日、北京の中関村にて第9回Meet AI Compilerテクニカルサロンが盛況のうちに閉幕しました。今回のセッションでは、AIコンパイラ分野のパイオニアである陳天奇氏をはじめ、大手テクノロジー企業の技術専門家数名が登壇し、プログラミング言語、演算子最適化、推論実行、アプリケーションシナリオなど、長年深く携わってきた分野に関する知見を共有しました。オープンソースコミュニティの継続的な発展から、コンパイラ最適化の実世界における応用まで、様々な技術の道筋がここで一堂に会し、AIコンパイラの技術景観をより包括的なものにしました。
WeChatの公式アカウント「HyperAI」をフォローし、「0801 AI Compiler」というキーワードで返信すると、講演者の完全なPPT資料を入手できます。
今回は、見慣れた顔ぶれに再会し、多くの新しい友人にも出会えました。ステージ上では様々なチームの技術実践が紹介され、ステージ裏では開発者たちが技術的な詳細について質問したり、意見を交換したりしていました。情報共有セッションから質疑応答、そしてティーブレイク中にも続く議論まで、この交流を通して多くの考えが新たな形で展開されました。おそらく、私たちがこれまでずっとMeet AI Compilerの開催にこだわってきたのは、AIコンパイラ開発に携わる人々が出会い、様々な方向性を探求する機会が生まれ、技術をきっかけに集まった人々にとって真に繋がりのある温かい技術コミュニティを築くためだったのでしょう。
活動内容のレビュー
共有とレビュー
トピックを共有:AIエージェントの時代において、AIコンパイラをどのように再考すべきでしょうか？将来のAIコンパイラはどのような方向性を目指すべきでしょうか？
完全な共有記録を表示するにはクリックしてください:
陳天奇：エージェント時代において、AIコンパイラをどのように再考すべきか？
トピックを共有:FlagTree：Triton-TLE言語拡張機能、タイルIRバックエンド、およびコンパイラ最適化手法
内容紹介：本プレゼンテーションは3つのパートに分かれています。最初のパートでは、Tritonが直面する課題と、TLE（Tracked Operators）が3段階の言語拡張を通じてハードウェアの詳細を段階的に公開し、移植性、保守性、パフォーマンスのバランスを向上させる方法について紹介します。2番目のパートでは、Tile IRをTritonコンパイラFlagTreeに統合するエンジニアリング手法に焦点を当て、新しいタイプのコンパイラバックエンドとして、Triton演算子のパフォーマンス最適化領域をさらに拡張する方法を紹介します。3番目のパートでは、レイアウト最適化や命令の並べ替えなど、主要なコンパイラ最適化手法を体系的に分析し、クロスチップ高性能演算子のための完全なコンパイル最適化パスを示します。
この共有を見ると、次のことが理解できるでしょう。
1. TLEはオンチップメモリをどのように制御し、分散モデルや生産者・消費者モデルをどのように表現し、ベンダー独自の言語をどのようにインライン化するのか？
2. TLEおよびTile IRバックエンドは、Tritonキーオペレーターのパフォーマンス上限をどのように向上させることができますか？
3. コンパイラ最適化技術がデータレイアウト変換のオーバーヘッドを削減し、命令実行効率を向上させ、Triton演算子のパフォーマンスをさらに引き出す方法。
完全な共有記録を表示するにはクリックしてください:
北京人工知能研究院（BAAI）は、Triton-TLEという階層型言語拡張を提案し、FlagTreeコンパイル最適化によって自動チューニングの速度を100倍向上させた。
トピックを共有:TileRT：スピードこそが知能 ― 超低遅延大規模モデル推論のための計算探索と共同設計
内容紹介：大規模モデルが数兆個のパラメータに達し、エージェント時代に突入するにつれ、極めて高速な推論速度は、複雑なタスクフローをサポートし、モデルの潜在能力を最大限に引き出すための重要な要素となっています。しかし、システムがレイテンシの限界をさらに押し上げようとすると、従来のシステムアーキテクチャや実行時のボトルネックが、しばしば克服不可能な障害となります。
本レポートでは、TileRTの最新の研究成果を紹介し、AIコンパイラ、ランタイムアーキテクチャの進化、モデルシステム協調設計といった観点から、超低遅延で大規模モデルコンピューティングのためのソフトウェアスタックを構築する方法を実証します。
この共有を見ると、次のことが理解できるでしょう。
1. スピードは知能である：エージェント時代において、なぜ「スピード」が大規模モデルの推論側における重要な指標になりつつあるのかを探る。
2. システムアーキテクチャの探求：このセクションでは、TileRT のアーキテクチャの進化について紹介し、GLM-5 を例として、基盤となる計算スケジューリングをリファクタリングすることで推論パフォーマンスを大幅に向上させる方法について説明します。
3. モデルとシステムの共同設計と生産の実践：モデルとシステムの共同設計を通じて、1兆パラメータモデルのシングルバッチ推論における1000 TPSの速度ボトルネックを打破する方法を共有します。
完全な共有記録を表示するにはクリックしてください:
スピードは知能に等しい！TileRTチームメンバーの馬凌暁氏が解説します：超低遅延の大規模モデル推論のための計算探索と協調設計。
トピックを共有:FalconGEMM：低複雑度行列乗算でハードウェアの限界を超える
内容紹介：行列乗算 (GEMM) は、大規模モデルの学習と推論における計算能力の中核を成すものです。しかし、モデルのサイズが指数関数的に増加するにつれて、標準アルゴリズムの O(N³) の複雑さはハードウェアの物理的な限界に常に近づいています。チップの計算能力が限界に達したときに、どのようにパフォーマンスを引き出し続けるかが、大規模モデルインフラストラクチャの重要な課題となっています。演算子最適化が限界に達した状況で、低複雑度行列乗算がパフォーマンスの限界を突破するための原理、価値、およびエンジニアリング上の課題を理解することが不可欠です。数学コミュニティが 50 年以上にわたって探求してきたアプローチの 1 つは、低複雑度行列乗算 (LCMA、Strassen や AlphaTensor など) です。これは、乗算回数を減らしてメモリへのアクセスと加算回数を増やすことで、ハードウェアの限界を同等の意味で「突破」するものです。しかし、メモリ アクセスの肥大化、アルゴリズムの選択、クロスプラットフォーム移植性という 3 つの主要なエンジニアリング上の課題により、長い間理論レベルにとどまっています。
本レポートでは、LCMAを体系的に論文段階から実用レベルのソフトウェアスタックへと発展させたFalconGEMMプロジェクトを紹介します。このプロジェクトは、コンパイラによる自動コード生成、グループ並列融合によるメモリアクセス最適化、パフォーマンスモデルに基づくアルゴリズム決定という3つのレベルを網羅しています。また、様々なGPU/CPUプラットフォームおよび実際の大規模モデルワークロードにおいて、トップレベルの公式ライブラリを総合的に凌駕する性能を実現しています。
この共有を見ると、次のことが理解できるでしょう。
1. 演算子最適化が限界に達したときに、低複雑度行列乗算が性能の上限を突破する際の原理、価値、およびエンジニアリング上の課題を理解する。
- FalconGEMMの技術ソリューションとクロスプラットフォーム対応の実践。
完全な共有記録を表示するにはクリックしてください:
Tencent FalconGEMMは、StrassenとLCMAの低複雑度行列乗算原理を活用し、ハードウェアの限界を超える行列乗算の最適化を探求しています。
トピックを共有:AscendNPU IR：コンパイルプラットフォームはオープンソースであり、Ascendとの多言語統合をサポートしています。
内容紹介：AscendコンパイラコンポーネントであるAscendNPU IRは、完全にオープンソース化されました。AscendからサードパーティのプログラミングフレームワークへのMLIRアクセスレイヤーとして、柔軟な統合、完全な式表現、Ascendに最適化されたコンパイル最適化機能を提供し、複数のフロントエンドDSLをサポートすることで、Ascend演算子のパフォーマンスを向上させます。
この共有を見ると、次のことが理解できるでしょう。
1. AscendNPU IRの全体的な技術アーキテクチャと設計思想を理解する。
2. Ascend 950拡張版におけるAscend NPU IRの新機能を理解する。
3. AscendNPU IRコミュニティ構築活動の内容と参加方法を理解する。
完全な共有記録を表示するにはクリックしてください:
トピックを共有:具現化された知能分野向けの汎用AIコンパイラ
内容紹介：本レポートでは、ロボットモデルのエッジ配信、安定動作、クロスフレームワーク適応、エンジニアリングスケーリングにおける主要な課題に取り組み、完全なアルゴリズムパイプラインのキャプチャ、エクスポート、グループ化、コンパイル、ランタイム展開、およびパフォーマンス最適化に焦点を当てた、具現化された知能とマルチモーダル大規模モデル向けの汎用コンパイラを紹介します。
この共有を見ると、次のことが理解できるでしょう。
1. 複数のモデル、複数のフレームワーク、および多段階パイプラインによって生じるエンジニアリングの複雑さやメンテナンスコストなど、具現化されたインテリジェンスモデルの展開を従来のモデル展開と区別する主要な課題を理解する。
2.汎用コンパイラが動的トレースを通じてアルゴリズム全体の流れを捉え、前処理、VLAモデル、LLM、後処理などのモジュールをコンパイル可能、デプロイ可能、かつデプロイ可能なDAGテンプレートに整理する方法を習得する。
3. グループコンパイルと統一されたランタイムアーキテクチャが、さまざまなバックエンドをどのようにサポートし、さまざまなチップの利点を活用しながら統一された配信チェーンを維持するかを理解する。
4. 具現化されたドメインコンパイラと配信プラットフォーム間のインターフェースパラダイムを理解する。
完全な共有記録を表示するにはクリックしてください:
Lampは、身体化された知能のエッジ展開のための統合コンパイルフレームワークであり、複雑なロボットアルゴリズムがプロトタイプからエッジ製品の提供へと移行するのを支援します。
スポンサーとパートナー
HyperAI (hyper.ai) は、国際的にリードする人工知能と高性能コンピューティングのコミュニティです。業界情報レポート、データセットの高速ダウンロード、オンラインチュートリアルのデモンストレーション、人気モデルのパフォーマンス評価、最先端の論文推奨、価値の高い結果の解釈、トップカンファレンスカレンダーの統合など、一連のサービスを提供することで、世界のデータサイエンスおよび人工知能業界の開発者や愛好家が学び、理解し、実践できるように支援し、コミュニティとともに人工知能の未来を築くことを目指しています。
公式ウェブサイトにアクセスしてください:https://hyper.ai/
OpenBayes は中国の大手ハイパフォーマンス コンピューティング サービス プロバイダーです古典的なソフトウェア エコロジーと機械学習モデルを新世代の異種チップに移植することにより、産業界や大学の科学研究向けに、より高速で使いやすいデータ サイエンス コンピューティング製品を提供します。その製品は、数十の大規模産業で使用されています。シナリオまたは大手科学研究会社によって使用されます。
公式ウェブサイトにアクセスしてください:https://openbayes.com/
MLC.AI コミュニティは、2022 年 6 月に設立されました。Apache TVM の主な発明者であり、機械学習の分野で有名な若い学者である Chen Tianqi がチームを率いて、主要な要素とコアを体系的に紹介する MLC オンライン コースを立ち上げました。機械学習コンパイルの概念。
2022 年 11 月、MLC.AI コミュニティ ボランティアの共同の努力により、最初の完全な TVM 中国語ドキュメントがオンラインで公開され、HyperAI Super Neural 公式 Web サイトで正常にホストされました。これにより、機械学習のコンパイルに関心のある国内開発者にさらに多くの情報を提供できるようになりました。新しいテクノロジーの基礎、つまりドキュメントを学びます。
MLC オンライン コース:https://mlc.ai/
TVM 中国語ドキュメント:https://tvm.hyper.ai/
イベント会場サポート
2019年5月に設立された北京中関村科学城創新発展有限公司は、世界をリードする科学技術パークの建設を支援する、エコシステム主導型の技術投資および産業サービスプラットフォームとして位置づけられています。海淀区の「1+X+1」型現代産業システム構築に向けた戦略的展開に沿って、産業サービス、エコシステム連携、技術投資、宇宙事業、国際事業の5つのコア事業分野に注力しています。技術企業のライフサイクル全体を網羅する包括的かつ多面的なサービスシステムを構築し、海淀区における技術革新と産業発展の深化を促進し、新たな質の高い生産性開発のための高地を創造し、世界をリードする科学技術パークの建設に貢献することを目指しています。
イベントサポート
イベントグループに参加するには、QR コードをスキャンして「AI Compiler」をメモしてください
