BOLT: 일반 CPU 하드웨어에서 대규모 검색 및 추천 모델의 학습 및 배포를 위한 자동화된 딥러닝 프레임워크

일반적인 CPU 하드웨어에서 대규모 신경망의 효율적인 학습 및 추론은 딥러닝(DL) 기능의 민주화에 있어 매우 중요한 실용적 의의를 갖는다. 현재 수억에서 수십억 개의 파라미터를 포함하는 거대 모델을 학습하는 과정은 GPU와 같은 전용 하드웨어 가속기의 광범위한 사용을 필요로 하며, 이러한 장비는 재정적 자원이 풍부한 제한된 수의 기관들만이 접근할 수 있다. 더불어 이러한 모델의 학습 및 배포 과정에는 종종 심각한 탄소 발자국이 수반된다. 본 논문에서는 이러한 도전 과제를 해결하기 위해, 일반적인 CPU 하드웨어에서 대규모 검색 및 추천 모델을 학습할 수 있도록 지원하는 희소 딥러닝 라이브러리인 BOLT을 제안한다. BOLT은 기존 인기 있는 딥러닝 프레임워크 사용자에게 익숙한 유연하고 고수준의 API를 제공하며, 희소 네트워크 학습의 알고리즘적 세부사항을 자동으로 추상화한다. 또한 특화된 하이퍼파라미터를 자동으로 최적화함으로써 사용자에게 복잡한 설정을 숨긴다. 우리는 BOLT을 제품 추천, 텍스트 분류, 그래프 신경망, 개인화 등 다양한 정보 검색 작업에 대해 평가하였으며, 제안된 시스템이 최첨단 기술과 경쟁 가능한 성능을 달성하면서도 비용과 에너지 소비는 극히 낮고 추론 시간은 10배 이상 빠른 결과를 얻었다. BOLT은 이미 여러 기업에서 핵심 문제 해결을 위해 성공적으로 도입되었으며, 전자상거래 분야의 한 고객 사례를 통해 그 실용성을 강조한다.