KAIST·CMU, 창작자 중심 AI 음악 협업 시스템 '아뮤즈' 개발

KAIST와 카네기 멜론 대학교(CMU)의 연구팀이 음악 작곡가들을 위한 인공지능(AI) 협력자 시스템인 Amuse를 개발했다. 이 시스템은 사용자의 창조적 흐름을 존중하면서 동시에 AI 제안을 유연하게 통합하고 수정할 수 있는 상호작용 방식으로 창의적인 탐구를 자연스럽게 유도한다. Amuse는 다양한 형태의 영감(텍스트, 이미지, 오디오 클립 등)을 조화 구조(코드 프로그레션)로 변환하여 작곡 과정을 지원한다. 예를 들어, 사용자가 "따뜻한 여름 해변의 추억"과 같은 문구, 이미지 또는 사운드 클립을 입력하면, Amuse는 이 영감에 맞는 코드 프로그레션을 자동 생성하고 제안한다. 기존의 생성형 AI와 달리 Amuse는 사용자의 창의성을 중심으로 두고, AI 제안을 유연하게 적용하고 수정할 수 있는 상호작용 방식을 채택해 사용자의 창의적 흐름을 존중한다. Amuse 시스템의 핵심 기술은 대형 언어 모델과 실제 음악 데이터로 학습된 AI 모델의 두 가지 접근 방식을 결합한 생성 방법이다. 대형 언어 모델은 사용자의 요청과 영감을 바탕으로 음악 코드를 생성하며, 실제 음악 데이터로 학습된 AI 모델은 거절 샘플링(rejection sampling)을 통해 부자연스러운 결과물을 필터링한다. 이렇게 하여 Amuse는 사용자가 원하는 방향으로 음악을 창작할 수 있도록 돕는다. 연구팀은 실제 음악가들을 대상으로 한 사용자 연구를 수행한 결과, Amuse가 창조적 동반자(Co-Creative AI)로서 높은 잠재력을 가짐을 확인했다. Co-Creative AI는 사람이 AI와 협업하는 개념으로, 단순히 AI가 곡을 만들어내는 것이 아니라 사용자의 의도를 고려한 창의적 협력을 추구한다. KAIST 전기 및 전자공학부의 이성주 교수는 "최근 생성형 AI 기술이 저작권 내용을 직접 모방하여 창작자의 저작권을 침해하거나, 창작자의 의도와 상관없이 일방적으로 결과물을 생성하는 것에 대한 우려가 제기되고 있다"며 "연구팀은 이러한 트렌드를 인지하고, 창작자가 실제로 필요로 하는 것을 중점으로 두어 창작자 중심의 AI 시스템 설계에 집중했다"고 설명했다. 그는 또한 "Amuse는 창작자의 주도권을 유지하면서 AI와 협업할 가능성을 탐구하는 시도로, 앞으로 음악 창작 도구와 생성형 AI 시스템의 발전 방향을 더 창작자 친화적으로 제시하는 출발점이 될 것"이라고 강조했다. 이 연구는 2025년 CHI 컨퍼런스(CHI Conference on Human Factors in Computing Systems)에서 발표될 예정이며, KAIST 박사과정생 김여원, KAIST 이성주 교수, 카네기 멜론 대학교 크리스 도나휴 교수가 공동 참여했다. Amuse는 창작자의 창의성을 존중하면서 simultaneously AI와의 협업을 가능하게 하므로, 음악 산업에서의 활용성이 높은 것으로 평가된다. 특히, 창작자 중심의 AI 설계 원칙은 학계와 산업계 모두에서 창의적 AI 시스템 설계의 잠재력을 보여주고 있다.