오디오 생성은 인공지능 모델을 사용하여 소리 콘텐츠를 자동으로 합성하는 생성 기술입니다. 이 기술의 목표는 텍스트 설명, 오디오 조건 또는 기타 입력 형태를 기반으로 음악, 음성, 주변 소리 및 음향 효과와 같은 오디오 신호를 생성하는 것입니다. 오디오 생성 기술은 생성 모델, 음성 처리, 음악 정보 검색 및 멀티모달 학습을 통합하며, AI 기반 콘텐츠 생성 분야의 중요한 구성 요소입니다.

오디오 생성 기술의 발전은 디지털 신호 처리, 음성 합성, 음악 생성 등 여러 분야의 오랜 연구를 기반으로 이루어졌습니다. 초기 방법들은 주로 규칙 기반 시스템, 신호 처리 알고리즘, 샘플 기반 접합에 의존하여 생성된 콘텐츠의 풍부함과 자연스러움에 한계가 있었습니다. 딥러닝과 생성 모델의 발전과 함께 연구자들은 신경망을 활용하여 음향 데이터의 분포를 직접 학습하는 방식을 탐구하기 시작했고, 이를 통해 더욱 유연한 오디오 합성이 가능해졌습니다. 2022년, Meta AI와 예루살렘 히브리 대학교의 연구진은 관련 논문을 발표했습니다... AudioGen: 텍스트 기반 오디오 생성 텍스트 조건부 제어를 통해 일반적인 오디오 콘텐츠를 생성하는 AudioGen 모델이 제안되었습니다. 이 모델은 자연어 설명부터 소리 생성까지 전 과정에 걸친 모델링 방법을 탐구하며, 텍스트-오디오 생성 분야에서 중요한 대표 연구 중 하나로 자리매김했습니다.

현대 오디오 생성 시스템은 일반적으로 확산 모델, 자기회귀 모델 또는 신경 오디오 코덱과 같은 기술을 사용하여 텍스트 프롬프트, 음악 설명 또는 기타 조건부 정보를 오디오 표현으로 변환하고 연속적인 음향 신호를 생성합니다. 최근 대규모 멀티모달 모델의 개발로 오디오 생성 기술은 음질, 생성 다양성 및 조건 제어 기능 측면에서 지속적으로 향상되었습니다. 현재 이 기술은 영화 및 TV 음악 작곡, 게임 음향 효과, 광고 제작, 가상 캐릭터, 음악 지원 작곡 및 인간-컴퓨터 상호작용 분야에서 널리 활용되고 있으며, 자동화된 오디오 콘텐츠 제작을 위한 새로운 기술적 길을 제시하고 있습니다.