AI 컴파일러 기술 공유 세션: 상하이 교통대학교/중국과학원 컴퓨팅기술연구소/마이크로소프트 아시아 연구소/지위안, 여기 있습니다!
4개의 미팅, 3개의 도시, 19명의 게스트, 1,000명 이상의 업계 실무자, 총 100만 회 이상의 노출2023년에 AI 컴파일러 커뮤니티는 그 존재감을 약간 새롭게 했습니다. 우리는 매우 틈새 시장에서 가장 수직적인 개발자와 엔지니어를 찾아내고, 0에서 1까지 작은 기반을 구축하고, 커뮤니케이션 플랫폼을 구축하고, 내부 협력을 촉진하고, 생태계의 상류와 하류를 연결했습니다.
2024년도 절반이 지났지만, 대형 모델은 여전히 기술계의 "인기 검색어 목록"을 차지하고 있습니다.우리는 7월 6일(토요일) 중국과학원 컴퓨팅기술연구소에 갈 예정입니다.Meet AI Compiler Technology Salon의 5번째 오프라인 모임을 개최했습니다.
이 미팅은 기술 공유와 원탁 토론의 두 부분으로 나뉩니다. 이번 행사에 참석한 손님은 상하이 교통대학교, 중국과학원 컴퓨팅기술연구소, 마이크로소프트 아시아 연구소, 베이징 지원 인공지능 연구소 출신입니다. 이번 모임을 통해 모든 분들께 새로운 기술적 성과를 가져다 주시고, 같은 업계에서 새로운 친구들을 사귀실 수 있기를 바랍니다~
이벤트 세부 정보
⏰ 시간 : 7월 6일(토) 13:30~18:00
위치: 중국과학원 컴퓨팅기술연구소 1층 강의실, 베이징시 하이뎬구 과학원 남로 6호
인원 : 200명 (현장 좌석이 한정되어 있으니, 가능한 한 빨리 등록해 주시기 바랍니다.)
등록: 아래 QR 코드를 스캔하여 등록하세요
QR 코드를 스캔하고 "AI 컴파일러"라고 댓글을 남겨 이벤트 그룹에 참여하세요.
의제:
손님 및 일정
세션 1 게스트 공유
주제 공유:MLCEngine: 범용 LLM 배포 엔진
콘텐츠 소개: 이 공유에서는 다양한 플랫폼에 보편적으로 배포할 수 있는 LLM 엔진인 MLCEngine을 소개합니다. MLCEngine은 서버에서 높은 처리량과 낮은 지연 시간의 LLM 제공 기능을 제공할 뿐만 아니라, 오늘날의 고품질 대규모 언어 모델을 다양한 로컬 환경에 원활하게 배포할 수 있도록 지원합니다.
이 공유 세션을 시청하면 다음 내용을 배울 수 있습니다.
1. MLCEngine의 디자인 컨셉 및 사용법
2. 보편적 배치의 중요성
3. LLM 추론 엔진 개발에 대한 생각
주제 공유:ElasticRoom: 리소스 제한 컴파일 및 강력한 우선 순위 스케줄링을 통한 공동 설계를 통한 다중 테넌트 DNN 추론 엔진
내용물:런타임 소프트웨어의 GPU 리소스 분할 메커니즘은 작업 스케줄러와 멀티 테넌트 컴퓨팅 시스템에서 리소스 활용도와 처리량을 개선하는 데 널리 사용되었습니다. 그러나 기존의 GPU 리소스 분할 메커니즘은 일괄 이기종 DNN 추론 요청에 직면할 때 GPU 리소스 활용도를 향상시키고 실시간 요청에 대한 낮은 지연 시간을 동시에 보장할 수 없습니다.우리는 TVM을 기반으로 리소스가 제한된 컴파일을 구축하고 우선순위 스케줄링을 통해 실시간 요청에 대해 높은 GPU 활용도와 낮은 지연 시간을 모두 달성하는 혁신적인 멀티 테넌트 DNN 추론 엔진인 ElasticRoom을 제안합니다.
이 공유 세션을 시청하면 다음 내용을 배울 수 있습니다.
1. GPU 리소스 관리 및 작업 스케줄링
2. TVM 기반 리소스 제한 컴파일
주제 공유:타일 추상화 기반 효율적인 딥러닝 컴파일 시스템
내용물:딥 러닝 알고리즘과 하드웨어의 급속한 발전으로 인해 업계에서는 효율적이고 빠른 모델 배포에 대한 요구가 더욱 높아지고 있습니다. 딥 러닝 컴파일러는 모델의 계산적 표현과 기반 하드웨어 실행을 연결하는 새로운 방식이 되었습니다. 그러나 다양한 하드웨어에서 빠르게 개발되는 딥 러닝 애플리케이션을 효율적으로 지원하는 데는 여전히 많은 과제가 있습니다.이 공유에서는 통합 타일 추상화를 기반으로 한 딥 러닝 컴파일 분야의 일련의 탐색적 작업을 소개합니다.
이 공유 세션을 시청하면 다음 내용을 배울 수 있습니다.
1. 타일 추상화 기반 딥러닝 컴파일 스택
2. 딥러닝 응용 시나리오에서 타일 추상화를 통해 글로벌 메모리 액세스 효율성을 최적화하는 방법
3. 딥러닝 응용 시나리오에서 타일 추상화를 통해 저정밀도 딥러닝 계산을 지원하는 방법
주제 공유:Triton 기반의 대규모 모델 연산자 라이브러리인 FlagGems는 혁신적인 관행입니다.
콘텐츠 소개: 기반 오픈AI 우리는 Triton 언어를 기반으로 PyTorch 프레임워크에서 대규모 모델에 대한 추론 및 학습 가속을 제공하기 위해 고성능 일반 연산자 라이브러리인 FlagGems를 개발했습니다.Triton의 프로그래밍 특성을 고려하여 런타임 최적화와 자동 코드 생성이라는 두 가지 기술 혁신을 적용했습니다. 이를 통해 연산자의 표현력을 확장하고 성능을 개선했습니다.
이 공유 세션을 시청하면 다음 내용을 배울 수 있습니다.
1. Triton 프로그래밍 언어에 대해 알아보고 Triton 오픈 소스 생태계에 참여하세요.
2. FlagGems 연산자 라이브러리와 개발 진행 상황을 이해합니다.
3. FlagGems에서 사용되는 런타임 최적화 기술과 자동 코드 생성 기술을 이해합니다.
세션 2: 원탁회의 세션
원탁회의 주제:트랜스포머 시대의 이기종 칩 간 컴파일 최적화
주최자 및 파트너
HyperAI는 중국을 선도하는 인공지능 및 고성능 컴퓨팅 커뮤니티입니다.이 플랫폼은 가속화된 데이터 세트 다운로드, 온라인 튜토리얼 데모, 심층적인 논문 해석, 최고의 컨퍼런스 일정 통합 등 다양한 인프라를 제공하여 중국의 데이터 과학 및 인공지능 산업에 종사하는 개발자와 애호가들이 학습하고 이해하고 실습할 수 있도록 돕고, 커뮤니티와 함께 인공지능의 미래를 구축하는 것을 목표로 합니다. 현재 HyperAI 공식 웹사이트에서는 수천 개의 고전적이고 고품질의 공개 데이터 세트와 튜토리얼을 출시했으며, 중국에서 가장 활발한 AI 컴파일러 커뮤니티를 운영하고 있습니다. HyperAI는 이 일련의 활동을 유일하게 주최합니다.
공식 웹사이트를 방문하세요:https://hyper.ai/
OpenBayes는 중국을 대표하는 고성능 컴퓨팅 서비스 제공업체입니다.기존 소프트웨어 생태계와 머신 러닝 모델을 새로운 세대의 이기종 칩에 접목하여 산업체와 대학의 과학 연구에 더 빠르고 사용하기 쉬운 데이터 과학 컴퓨팅 제품을 제공합니다. 해당 제품은 수십 개의 대규모 산업 시나리오나 주요 과학 연구 기관에서 채택되었습니다.
공식 웹사이트를 방문하세요:https://openbayes.com/
MLC.AI 커뮤니티는 2022년 6월에 설립되었습니다. Apache TVM의 주요 발명가이자 머신 러닝 분야의 저명한 젊은 학자인 천톈치가 팀을 이끌고 MLC 온라인 과정을 시작했으며, 이를 통해 머신 러닝 컴파일의 핵심 요소와 핵심 개념을 체계적으로 소개했습니다.
2022년 11월, MLC.AI 커뮤니티 자원봉사자들의 공동 노력으로 최초의 완전한 TVM 중국어 문서가 출시되어 HyperAI 공식 웹사이트에 성공적으로 호스팅되었습니다. 이를 통해 머신 러닝 컴파일에 관심이 있는 국내 개발자에게 새로운 기술인 문서에 접근하고 학습할 수 있는 기본 설정을 제공하게 되었습니다.
MLC 온라인 과정:https://mlc.ai/
TVM 중국어 문서:https://tvm.hyper.ai/
중국과학원(ICT) 산하 컴퓨팅기술연구소는 1956년에 설립되었으며, 컴퓨터 과학과 기술 분야에서 포괄적인 연구를 수행하는 중국 최초의 학술기관입니다.컴퓨터기술연구소는 우리나라 최초의 범용 디지털 전자컴퓨터를 성공적으로 개발하여 우리나라 고성능 컴퓨터의 연구개발 기반을 마련했습니다. 우리나라 최초의 범용 CPU 칩도 여기서 탄생했습니다.
컴퓨터기술연구소는 우리나라 컴퓨터 산업의 요람입니다. 컴퓨팅 기술 연구소의 발전과 함께 우리나라 최초의 컴퓨팅 기술 전문가 수백 명을 양성했으며, 20명 이상의 학자들이 이곳에서 일하거나 공부했습니다. 학문과 기술이 발전함에 따라 컴퓨팅기술연구소에서 시안 마이크로전자연구소, 컴퓨팅센터, 소프트웨어연구소, 네트워크센터, 마이크로전자연구소, 정보공정연구소 등 여러 연구소가 분리되었고, 레노버, 던, 룽손, 캠브리안 등 첨단기술 기업이 탄생했습니다.
HPC 기술 위원회(중국컴퓨터연맹, CCF TCHPC로 약칭)는 2005년 중국컴퓨터연맹의 승인을 받아 설립되었습니다. 중국컴퓨터연맹 산하 전문위원회로서 고성능 컴퓨팅 분야의 학술 연구를 담당하는 권위 있는 조직으로, 고성능 컴퓨팅 분야의 학술대회를 개최하고 산학 응용 서비스를 제공합니다.
"학술 플랫폼 구축, 산업 교류 촉진, 응용 구현 추진, 소프트웨어 및 하드웨어 생태계 균형, 산업 발전에 기여, 산업, 학계, 연구 및 응용 연결"이라는 원칙과 사명에 따라, 우리는 중국 고성능 컴퓨팅 분야의 연구 개발을 촉진하고 고성능 컴퓨팅 학술 및 산업 협력 교류 플랫폼을 구축하는 데 전념하고 있습니다. 과학기술 발전과 혁신을 뒷받침하고, 사회 진보를 촉진하며, 우리나라의 종합적 국력과 국제 경쟁력을 강화하는 데 있어서 대체할 수 없는 중요한 역할과 의의를 가지고 있습니다.
2011년 6월, 중국과학원에서는 청년혁신촉진회(이하 "청년촉진회")를 공식 설립했습니다. 이는 중국과학원에서 35세 이하의 젊은 과학기술인재를 대상으로 종합적인 교육을 실시하는 혁신적 이니셔티브입니다. 이 단체는 효과적인 조직과 지원을 통해 학계의 젊은 과학기술 종사자들을 통합하고 공고히 하며, 학문적 지평을 넓히고, 상호 교류와 학제간 연구를 촉진하고, 과학 연구 활동을 조직하는 능력을 향상시키고, 새로운 세대의 학문적, 기술적 리더를 양성하는 것을 목표로 합니다.
이벤트 지원
활성 행:QR 코드를 스캔하여 이벤트 등록 페이지로 이동하세요
QR 코드를 스캔하고 "2024 AI Compiler"에 댓글을 남겨 이벤트 그룹에 참여하세요.
이 행사의 장소 공간 조건을 고려하여 참석 가능한 좌석을 200석으로 제한했습니다. 좌석을 확보하려면 가능한 한 일찍 등록하는 것이 좋습니다.
7월 6일 13:30-17:40, 새로운 친구와 오랜 친구를 만나기를 기대합니다!