뉴로로지컬 A* 유사 디코딩: 미리보기 휴리스틱을 활용한 제약 조건付き 텍스트 생성

신경망 텍스트 생성의 주류 패러다임은 자동회귀 언어 모델에서 왼쪽에서 오른쪽으로 디코딩하는 방식이다. 그러나 복잡한 어휘 제약 조건 하에서 제약되거나 제어 가능한 생성을 수행하기 위해서는 미래의 타당한 경로를 사전에 계획할 수 있는 전망 능력이 필요하다.이에 착안하여 A 탐색 알고리즘을 영감으로 삼아, 미래 비용에 대한 휴리스틱 추정을 포함하는 디코딩 알고리즘인 NeuroLogic Aesque를 제안한다. 우리는 대규모 언어 모델에 효율적으로 적용 가능한 전망 휴리스틱을 개발하였으며, 이로 인해 기존의 보통 기법인 빔 서치나 top-k 샘플링과의 호환성이 높아져 즉시 대체 가능하다. 제약 조건이 있는 생성을 가능하게 하기 위해 Lu 등(2021)이 제안한 NeuroLogic 디코딩 기법을 기반으로 하되, 논리적 제약 조건을 유연하게 통합할 수 있는 특성과 미래 제약 충족도에 대한 Aesque 추정을 결합하였다.제안하는 방법은 다섯 가지 생성 과제에서 경쟁적 기준 모델들을 능가하며, 테이블 텍스트 생성, 제약 조건이 있는 기계 번역, 키워드 제약 생성 등에서 새로운 최고 성능을 달성하였다. 특히 복잡한 제약 조건을 충족해야 하는 과제나, 소량의 예시(피처 샘플) 또는 예시 없이(제로샷) 수행하는 설정에서 성능 향상이 두드러졌다. NeuroLogic Aesque는 디코딩 기법의 발전이 대규모 언어 모델의 성능을 향상시키고, 새로운 기능을 가능하게 한다는 가능성을 입증한다.