인공지능 음성 기술의 급속한 발전으로 텍스트 음성 변환(TTS) 모델은 단순히 "말할 수 있는 것"을 넘어 "실제 사람처럼 자연스럽게 소통하는 것"으로 나아가고 있습니다. 그러나 기존 시스템들은 여전히 복잡한 생성 과정, 높은 학습 비용, 다국어 지원 능력의 한계, 제로 샘플 음성 복제의 어려움, 복잡한 억양 및 방언 지원의 부족 등 여러 문제점을 안고 있습니다.

이러한 배경 속에서 OmniVoice의 출시는 다국어 음성 생성 분야에 새로운 돌파구를 마련했습니다. 샤오미 AI 연구소의 차세대 Kaldi 팀이 개발한 이 모델은 600개 이상의 언어를 지원하며, 음성 복제, 음성 디자인, 자동 음성 생성 기능을 갖추고 있습니다. 기존의 TTS 모델에서 흔히 사용되는 "텍스트 → 의미 → 음향"의 2단계 생성 과정과 달리, OmniVoice는 확산 언어 모델과 유사한 이산 비자기회귀(NAR) 아키텍처를 채택하여 텍스트를 다중 코드북 음향 토큰으로 직접 매핑함으로써 음성 생성 과정을 크게 간소화했습니다.

이러한 아키텍처 변경은 복잡한 처리 과정에서 기존의 이산 NAR 모델의 성능 병목 현상을 줄일 뿐만 아니라, OmniVoice가 음성 자연스러움, 명료도 및 언어 간 일관성 측면에서 더 나은 성능을 달성할 수 있도록 합니다. 동시에, 이 모델은 전체 코드북 랜덤 마스크 학습 전략을 도입하고 사전 학습된 대규모 언어 모델을 기반으로 초기화함으로써 학습 효율성을 향상시키고 음성 생성 품질을 더욱 높입니다.

더욱 중요한 것은 OmniVoice가 단순히 "다국어" TTS 모델이 아니라는 점입니다. 중국어, 영어, 일본어, 한국어와 같은 주요 언어는 물론 허난 방언, 쓰촨 방언, 동북 방언과 같은 중국어 방언, 그리고 미국식, 영국식, 호주식, 인도식 영어 등 다양한 영어 변형까지 지원합니다. 단 몇 초 분량의 참조 오디오만으로도 음성 복제가 가능한 제로 샘플 음성 기술을 통해 AI 음성 내레이션, 디지털 휴먼, 다국어 콘텐츠 제작, 글로벌 음성 상호작용 등 다양한 분야에서 엄청난 활용 가능성을 보여줍니다.

현재 HyperAI 공식 웹사이트(hyper.ai)의 튜토리얼 섹션에서 "OmniVoice: 600개 이상의 언어를 지원하는 고품질 TTS"를 제공하고 있으며, 클릭 한 번으로 시작하여 진입 장벽 없이 쉽게 배포할 수 있습니다.

온라인으로 실행:

https://go.hyper.ai/oxpij

더 많은 온라인 튜토리얼:

https://hyper.ai/notebooks

더 자세한 정보를 원하시면 저희 공식 웹사이트를 방문해 주세요.

https://hyper.ai

데모 실행

1. hyper.ai 홈페이지에 접속한 후 "튜토리얼" 페이지를 선택하거나 "더 많은 튜토리얼 보기"를 클릭하고 "OmniVoice: 600개 이상의 언어를 지원하는 고품질 TTS"를 선택한 다음 "이 튜토리얼 실행"을 클릭하세요.

2. 페이지가 리디렉션된 후 오른쪽 상단의 "복제"를 클릭하여 튜토리얼을 자신의 컨테이너로 복제합니다.

참고: 페이지 오른쪽 상단에서 언어를 변경할 수 있습니다. 현재 중국어와 영어로만 제공됩니다. 이 튜토리얼에서는 영어로 된 단계를 안내합니다.

3. "NVIDIA RTX 5090" 및 "PyTorch" 이미지를 선택하고 "작업 실행 계속"을 클릭합니다.

HyperAI는 신규 사용자를 위한 가입 보너스를 제공합니다. 단 $1로 20시간 동안 RTX 5090 컴퓨팅 파워를 이용할 수 있으며(정가는 $7), 이 리소스는 무기한으로 사용 가능합니다.

4. 리소스 할당이 완료될 때까지 기다립니다. 상태가 "실행 중"으로 변경되면 "워크스페이스 열기"를 클릭하여 Jupyter 워크스페이스에 들어갑니다.

효과 표시

1. 페이지가 리디렉션된 후 왼쪽에 있는 README 파일을 클릭하고 상단의 실행을 클릭합니다.

2. 과정이 완료되면 오른쪽에 있는 API 주소를 클릭하여 데모 페이지로 이동하세요.