Yujun Lin Zhekai Zhang Song Han

초록

현대의 텐서 기반 응용 프로그램, 특히 기초 모델(Foundation Models) 및 생성형 AI(Generative AI) 응용 프로그램은 시각(비전)과 언어 등 다양한 입력 모달리티를 동시에 처리해야 하며, 이는 유연한 가속기 아키텍처에 대한 수요를 증가시키고 있다. 기존의 프레임워크는 RTL(Register-Transfer Level) 생성의 설계 유연성과 생산성 사이에 균형을 이루지 못하는 문제를 겪고 있다. 즉, 수작업으로 작성된 매우 제한된 템플릿에 국한되거나, 자동으로 RTL을 생성하지 못하는 문제가 있다. 이러한 도전에 대응하기 위해 본 연구에서는 텐서 기반 응용을 대상으로 하며, 수작업 RTL 템플릿 없이도 공간적 아키텍처 설계를 자동으로 생성하고 합성 가능한 RTL 코드를 출력하는 LEGO 프레임워크를 제안한다. LEGO의 전단은 애핀 변환 기반 아키텍처 표현을 활용하여 기능 단위 간의 연결 관계를 탐색하고, 데이터 재사용 분석을 기반으로 메모리 시스템을 합성하며, 다양한 공간적 데이터플로우 설계를 융합한다. 후단에서는 원시 수준의 그래프 형태로 표현된 하드웨어를 처리하여 저수준 최적화를 수행하고, 일련의 선형 프로그래밍 알고리즘을 적용하여 파이프라인 레지스터를 최적의 위치에 삽입함과 동시에 공간적 데이터플로우 전환 시 미사용 논리의 오버헤드를 최소화한다. 평가 결과, 기존의 Gemmini와 비교해 LEGO는 최대 3.2배의 속도 향상과 2.4배의 에너지 효율 향상을 달성하였으며, 생성형 AI 응용 프로그램에서 다양한 현대적 기초 모델에 적합한 하나의 아키텍처를 효율적으로 생성할 수 있음을 입증하였다.