18일 전

블록 희소 가중치를 위한 GPU 커널

{Alec Radford and Diederik P. Kingma, Scott Gray}
초록

우리는 아직 충분히 탐색되지 않은 신경망 아키텍처의 한 클래스인 블록 희소 가중치를 갖는 네트워크를 위한 고도로 최적화된 GPU 커널을 공개합니다. 이러한 커널은 가중치 행렬 내에서 유연하게 구성 가능한 블록 희소 패턴을 가진 선형 계층(포화층 포함)의 효율적인 평가 및 미분을 가능하게 합니다. 분석 결과, 희소성의 정도에 따라 이 커널은 cuBLAS와 같은 현재까지 가장 우수한 대안보다 수십 배에서 수백 배 이상 빠르게 작동함을 확인했습니다. 이러한 커널을 활용하여 텍스트 감성 분석 및 텍스트·이미지 생성 모델링 분야에서 최신 기술 수준을 초월하는 성능을 달성했습니다. 본 커널을 공개함으로써 모델 및 알고리즘 설계 분야의 추가적인 발전을 촉진하고자 합니다.

블록 희소 가중치를 위한 GPU 커널 | 최신 연구 논문 | HyperAI초신경