심볼릭 언어에서 언어 모델 결합

최근 엔드투엔드 신경망 접근법이 성능과 사용 편의성 측면에서 자연어 처리(NLP) 작업을 주도하고 있지만, 해석 가능성과 견고성이 부족하다. 우리는 Binder라는 학습이 필요 없는 신경-기호 프레임워크를 제안한다. 이 프레임워크는 작업 입력을 프로그램으로 매핑하여 (1) 언어 모델(LM) 기능의 통합된 API를 프로그래밍 언어(예: SQL, Python)에 결합하여 문법 범위를 확장하고 더 다양한 질문을 해결할 수 있게 하며, (2) 실행 중 API 호출 시 프로그램 파서와 기본 모델로 LM을 채택하며, (3) 몇 개의 컨텍스트 내 예시 주석만 필요하다. 특히, 우리는 GPT-3 Codex를 LM으로 활용한다.파싱 단계에서는 몇 개의 컨텍스트 내 예시 주석만으로 Codex가 원래 프로그래밍 언어로 해결할 수 없는 작업 입력 부분을 식별하고, 해당 부분을 해결하기 위해 적절한 API 호출을 생성하며, 원래 문법과 호환되도록 API 호출 위치를 식별할 수 있다. 실행 단계에서는 Codex가 API 호출에서 제공되는 적절한 프롬프트를 통해 다양한 기능(예: 상식 기반 QA, 정보 추출)을 수행할 수 있다.Binder는 WikiTableQuestions와 TabFact 데이터셋에서 최신 연구 결과를 달성하였으며, 명시적인 출력 프로그램으로 인해 인간 디버깅에 유리하다. 참고로 이전 최고 성능 시스템들은 모두 수십만 개의 작업 특화 샘플로 미세 조정(finetuning)되었지만, Binder는 학습 없이 몇십 개의 주석만 사용하여 컨텍스트 내 예시를 제공한다. 우리의 코드는 https://github.com/HKUNLP/Binder 에서 확인할 수 있다.