HyperAI가 주최하는 Meet AI Compiler 기술 살롱은 연구 기관 및 기업의 전문가, 학자, 그리고 현장 엔지니어들을 한자리에 모아 기술 혁신부터 응용 분야별 과제까지 모든 것을 논의하고 교류의 장을 제공해 왔습니다. 올해 7월, 베이징에서 열린 제7회 Meet AI Compiler 기술 살롱은 활발한 토론과 귀중한 기술 통찰력을 바탕으로 지속적인 교류를 이끌어내며 성황리에 마무리되었습니다!

12월 27일, 제8회 AI 컴파일러 대회가 예정대로 개최되었습니다.이번 호에서는 상하이 혁신 아카데미, TileAI 커뮤니티, 화웨이 하이실리콘, 고급 컴파일러 연구소, AI9Stars 커뮤니티의 전문가들을 초청하여 소프트웨어 스택 설계 및 연산자 개발부터 성능 최적화에 이르기까지 기술 체인 전반에 걸친 통찰력을 공유했습니다. TVM의 생태계 간 상호 운용성, PyPTO의 융합 연산자 최적화, TileRT의 저지연 시스템, 다중 아키텍처를 위한 Triton의 핵심 최적화 기술, AutoTriton의 연산자 최적화 등 이론부터 구현까지 완벽한 기술 경로를 제시합니다.

등록이 시작되었습니다! 좌석이 한정되어 있습니다! 소중한 인사이트를 얻으실 수 있도록 함께해 주세요. 상하이에서 여러분을 기다리고 있겠습니다! 🫶

이벤트 세부 정보

⏰ 시간 : 12월 27일(토) 13:30~17:30

📍 위치: 상하이 쉬후이구 화파로 699항 3호 상하이 혁신 아카데미

👬 참가자 수: 150명 (좌석이 한정되어 있으니, 서둘러 등록해 주세요) 

🙌🏻 등록 링크:https://hdxu.cn/1CupU

손님 및 일정

게스트 공유

13:40-17:20

주제 공유:TVM FFI: 머신 러닝 시스템을 위한 개방형 ABI 및 FFI

내용물:TVM FFI는 머신러닝 시스템의 단편화된 생태계와 상호운용성 문제를 해결하는 것을 목표로 합니다. 개방형 ABI 및 FFI 표준을 정의함으로써, 이 프로젝트는 안정적인 C ABI와 DLPack을 활용하여 무복사 데이터 전송을 구현하고 PyTorch와 같은 프레임워크와 기반 컴파일러 간의 격차를 해소합니다. 또한 효율적인 교차 언어 호출을 지원하여 다중 플랫폼 적응에 따른 엔지니어링 비용을 크게 절감합니다.

이 공유 세션을 시청하면 다음 내용을 배울 수 있습니다.

1. 교차 언어 MLsys의 개발 및 유지 관리 비용을 크게 줄이기 위해 TVM-FFI 범용 표준을 학습합니다.

2. 미래와 호환되는 모듈형 ML 생태계를 이해하고 구축합니다.

주제 공유:TileRT: 저지연 대규모 모델 추론을 위한 소프트웨어 및 하드웨어 탐색

내용물:대규모 모델이 수조 개의 매개변수에 도달하고 수백만 개의 토큰을 초과하는 시퀀스를 처리함에 따라, 그 성능은 끊임없이 기록을 경신하고 있습니다. 그러나 모델의 궁극적인 연산 속도에 대한 추구는 결코 멈추지 않았습니다. 한편으로는 실시간 의사 결정이나 게임 이론과 같이 많은 저지연 시나리오가 몇 초 또는 밀리초 단위의 응답을 요구합니다. 다른 한편으로는 대규모 모델 학습에서 에이전트 시대의 도래와 함께, 매우 긴 시퀀스의 롤아웃 시간이 주요 병목 현상이 되었습니다.

이 보고서에서는 TileRT 프로젝트를 소개하고, AI 컴파일러, 런타임 및 아키텍처 설계의 관점에서 매우 낮은 지연 시간으로 대규모 모델 계산을 위한 소프트웨어 스택을 구축하는 방법을 살펴봅니다.

이 공유 세션을 시청하면 다음 내용을 배울 수 있습니다.

1. 대규모 모델에 대한 저지연 추론 시나리오의 배경, 중요성 및 미래 전망을 이해합니다.

2. TileRT의 기술적 과제와 실무 경험 공유

주제 공유:PyPTO: 화이트박스 컴파일을 기반으로 퓨전 연산자를 개발하기 위한 프레임워크.

내용물:이 프레젠테이션은 Huawei가 새롭게 출시한 융합형 운영자 개발 프레임워크인 PyPTO에 중점을 둡니다. Tensor/Tile 프로그래밍 패러다임을 기반으로, 코어 내 SRAM 관리, 크로스 플랫폼 PTO 명령어 세트, MPMD 런타임과 같은 기술에 중점을 두고 Human-In-The-Loop 튜닝 및 화이트박스 컴파일을 결합하여 고성능과 사용 편의성 간의 균형을 달성합니다.

이 공유 세션을 시청하면 다음 내용을 배울 수 있습니다.

1. SIMD 아키텍처에 맞춰 기본적으로 설계된 퓨전 연산자 개발 프레임워크인 PyPTO의 설계 철학과 핵심 아키텍처를 숙지하세요.

2. 사용자의 전문가 경험과 인간 참여형 최적화의 본질을 활용하는 데 중점을 둔 PyPTO의 화이트박스 컴파일 철학을 숙지하세요.

3. PyPTO가 제공하는 시각화 도구를 사용하여 Ascend 플랫폼에서 고성능 퓨전 연산자를 빠르게 개발하는 전체 프로세스를 숙지하세요.

주제 공유:Triton 컴파일러를 위한 컴파일 최적화 관행

내용물:본 프레젠테이션은 Triton 컴파일러의 최적화 기법에 중점을 두고 Triton의 언어 및 컴파일러 구조, 생태계 발전, 그리고 연산자 라이브러리 개발 방법을 체계적으로 소개합니다. 또한 CPU, NPU, GPU를 포함한 여러 아키텍처에 대한 주요 최적화 기법을 심도 있게 다루어 고성능 통합 연산자 시스템 구축을 위한 전체 과정을 보여줍니다.

이 공유 세션을 시청하면 다음 내용을 배울 수 있습니다.

1. Triton 생태계의 최신 개발 사항

2. 다중 아키텍처(CPU/NPU/GPU)에서 Triton 컴파일러의 주요 최적화 기술

주제 공유:AutoTriton: 강화 학습 기반 대규모 모델을 위한 Triton 연산자 최적화 기법 탐구

내용물:CUDA와 같은 언어를 사용하여 효율적인 커널을 작성하는 것은 성능 엔지니어의 영역입니다. Triton과 같은 프로그래밍 프레임워크의 등장으로 커널 프로그래밍 가능성은 크게 향상되었습니다. 그러나 개발자는 여전히 주요 매개변수를 수동으로 구성해야 하므로 성능 이식성과 광범위한 적용에 제약이 있습니다. 본 보고서에서는 대규모 연산자 생성을 위한 벤치마크 및 모델에 대한 연구를 소개하고, 연산자 최적화에서 대규모 모델의 엄청난 잠재력에 대해 논의합니다.

이 공유 세션을 시청하면 다음 내용을 배울 수 있습니다.

1. 대규모 모델 권한 부여 연산자 최적화 관련 연구 및 최근 동향

2. 운영자 최적화를 위한 대규모 모델의 핵심 기술

주최자 및 파트너

HyperAI(hyper.ai)는 국제적으로 선도적인 인공지능 및 고성능 컴퓨팅 커뮤니티입니다.이 플랫폼은 업계 정보 보고서, 가속화된 데이터 세트 다운로드, 온라인 튜토리얼 데모, 인기 있는 모델 성능 평가, 최첨단 논문 권장 사항, 고가치 결과 해석, 최고의 컨퍼런스 일정 통합과 같은 일련의 서비스를 제공하여 글로벌 데이터 과학 및 인공지능 산업의 개발자와 애호가들이 학습하고 이해하고 실습할 수 있도록 돕고, 커뮤니티와 함께 인공지능의 미래를 구축하는 것을 목표로 합니다.

공식 웹사이트를 방문하세요:https://hyper.ai/

OpenBayes Bayesian Computing은 중국을 대표하는 고성능 컴퓨팅 서비스 제공업체입니다.기존 소프트웨어 생태계와 머신 러닝 모델을 차세대 이기종 칩에 접목하여 산업체와 대학의 과학 연구에 더 빠르고 사용하기 쉬운 데이터 과학 컴퓨팅 제품을 제공합니다. 해당 제품은 수십 개의 대규모 산업 시나리오나 주요 과학 연구 기관에서 채택되었습니다.

공식 웹사이트를 방문하세요:https://openbayes.com/

상하이 혁신 아카데미는 명문 대학, 선도 기업, 그리고 연구 기관이 공동으로 설립한 새로운 유형의 인재 양성 기관입니다. "학생 중심의 최첨단 연구"라는 교육 철학을 고수하는 상하이 혁신 아카데미는 뛰어난 교수진, 탁월한 교육 시스템, 그리고 탁월한 지원 조건을 통해 중국 특유의 AI 리더십 인재 양성 프로그램을 모색합니다. 상하이 혁신 아카데미는 중국 최고의 AI 인재를 양성하고 세계적인 인공지능 혁신 허브를 구축하는 데 전념하고 있습니다.

MLC.AI 커뮤니티는 2022년 6월에 설립되었습니다. Apache TVM의 주요 발명가이자 머신 러닝 분야의 저명한 젊은 학자인 천톈치가 팀을 이끌고 MLC 온라인 과정을 시작했으며, 이를 통해 머신 러닝 컴파일의 핵심 요소와 핵심 개념을 체계적으로 소개했습니다.

2022년 11월, MLC.AI 커뮤니티 자원봉사자들의 공동 노력으로 최초의 완전한 TVM 중국어 문서가 출시되어 HyperAI 공식 웹사이트에 성공적으로 호스팅되었습니다. 이를 통해 머신 러닝 컴파일에 관심이 있는 국내 개발자에게 새로운 기술인 문서에 접근하고 학습할 수 있는 기본 설정을 제공하게 되었습니다.

MLC 온라인 과정:https://mlc.ai/

TVM 중국어 문서:https://tvm.hyper.ai/

이벤트 지원

행사장 공간이 한정되어 있어 150석만 예약 가능합니다. 자리를 확보하시려면 최대한 빨리 등록하시기 바랍니다.

12월 27일 13:30부터 17:30까지 만나요!