17일 전
NeMo: 신경 모듈을 활용한 AI 애플리케이션 개발을 위한 툴킷
Oleksii Kuchaiev, Jason Li, Huyen Nguyen, Oleksii Hrinchuk, Ryan Leary, Boris Ginsburg, Samuel Kriman, Stanislav Beliaev, Vitaly Lavrukhin, Jack Cook, Patrice Castonguay, Mariya Popova, Jocelyn Huang, Jonathan M. Cohen

초록
NeMo(Neural Modules)는 재사용성, 추상화, 조합성을 통해 AI 애플리케이션을 개발할 수 있도록 지원하는 파이썬 기반의 프레임워크 독립형 툴킷입니다. NeMo는 유형 기반 입력과 출력을 처리하는 신경망의 개념적 블록인 신경 모듈(neural modules)을 중심으로 설계되었습니다. 이러한 모듈은 일반적으로 데이터 레이어, 인코더, 디코더, 언어 모델, 손실 함수, 또는 활성화 값들을 조합하는 방법 등을 나타냅니다. NeMo는 이러한 구성 요소들을 쉽게 조합하고 재사용할 수 있도록 하며, 신경 유형 시스템(neural type system)을 통해 의미적 정확성 검사를 제공합니다. 이 툴킷은 자동 음성 인식(Automatic Speech Recognition) 및 자연어 처리(Natural Language Processing)를 위한 확장 가능한 사전 구축 모듈 컬렉션을 포함하고 있습니다. 또한 최신 NVIDIA GPU에서 분산 학습과 혼합 정밀도(mixed precision)를 내장된 방식으로 지원합니다. NeMo는 오픈소스로 제공되며, GitHub에서 확인할 수 있습니다: https://github.com/NVIDIA/NeMo