대부분의 언어모델은 시인도 될 수 있다: AI 글쓰기 보조 도구 및 제약 조건이 있는 텍스트 생성 스튜디오

제약된 자연어 생성 분야의 급속한 발전에도 불구하고, 어휘가 어휘적으로, 의미적으로, 혹은 음운적으로 제약된 언어 모델의 잠재력을 탐구한 연구는 거의 이루어지지 않았다. 우리는 대부분의 언어 모델이 상당한 제약 조건 하에서도 매력적인 텍스트를 생성할 수 있음을 발견했다. 본 연구에서는 언어 모델의 어휘에 필터 함수를 조합적으로 적용함으로써 텍스트 단위를 생성하기 전에 출력을 수정하는 간단하고 보편적으로 적용 가능한 기법을 제안한다. 이 접근법은 모델 자체를 수정하지 않고도 즉시 적용 가능하며, 플러그 앤 플레이 방식이다. 본 기법의 가치를 입증하기 위해, 다양한 제약 조건을 자유롭게 조합하여 텍스트를 생성하거나 선택할 수 있는 사용자 친화적인 AI 글쓰기 보조 도구인 ‘제약 텍스트 생성 스튜디오(Constrained Text Generation Studio, CTGS)’를 소개한다. CTGS를 통해 특정 문자를 금지하거나, 생성된 단어가 특정 음절 수를 가져야 하도록 강제하거나, 다른 단어의 부분적 동음이의어(파셜 애너그램)가 되도록 강제하는 등의 다양한 제약 조건을 적용할 수 있다. 또한, 문자 'e'를 포함하지 않는 산문 텍스트로 구성된 새로운 데이터셋을 제안한다. 제안한 방법이 이 데이터셋에서 단순 미세조정(fine-tuning)보다 엄격하게 우수한 성능을 보임을 입증한다. 또한, 본 기법을 소개하는 Hugging Face Space 웹 앱인 ‘Gadsby’도 함께 제공한다. 관련 코드는 공개되어 있으며, 아래 링크에서 확인할 수 있다: https://github.com/Hellisotherpeople/Constrained-Text-Generation-Studio