임베딩 공간에서 ODE를 활용한 조합형 텍스트 제어

실제 텍스트 응용 분야에서는 특정 속성에 따라 텍스트를 편집하거나 키워드 및 구조를 조작하며, 원하는 특성을 갖는 새로운 텍스트를 생성하는 등 다양한 텍스트 제어 작업을 조합하는 경우가 빈번하다. 기존 연구들은 일반적으로 언어 모델(LM)을 개별 또는 특정 서브셋의 작업에 대해 학습하거나 미세 조정하는 방식을 사용해왔다. 최근 연구들은 복잡한 시퀀스 공간에서 비용이 큰 검색 또는 최적화 과정을 필요로 하지 않고도 작업들을 플러그 앤 플레이 방식으로 결합하는 방법을 탐색해왔다. 본 논문은 텍스트의 컴팩트한 잠재 공간에서 조합 가능한 텍스트 작업을 위한 새로운 효율적인 접근법을 제안한다. 텍스트 잠재 벡터의 저차원성과 미분 가능성 덕분에, 임의의 플러그인 연산자(예: 속성 분류기)를 기반으로 상미분 방정식(ODE)을 이용한 효율적인 샘플러를 개발할 수 있다. 사전 학습된 언어 모델(GPT2 등)을 효율적인 적응을 통해 잠재 공간에 연결함으로써, 샘플링된 벡터를 원하는 텍스트 시퀀스로 디코딩할 수 있다. 이 유연한 접근법은 다양한 제어 연산자(감정, 시제, 공손성, 키워드 등)를 다양한 도메인의 관련 데이터를 활용해 획득할 수 있도록 허용한다. 실험 결과, 본 방법 내에서 이러한 연산자를 조합함으로써 고품질의 텍스트 생성 및 편집이 가능하며, 생성 품질과 효율성 측면에서 기존 방법을 크게 상회함을 확인할 수 있었다.