잠재 예측자 네트워크를 이용한 코드 생성

많은 언어 생성 작업은 구조화된 입력과 비구조화된 입력을 모두 기반으로 하는 텍스트 생성이 필요합니다. 본 연구에서는 임의의 수의 입력 함수에 조건부로 출력 시퀀스를 생성하는 새로운 신경망 아키텍처를 제시합니다. 특히, 우리의 접근 방식은 조건부 맥락 선택과 생성 단위(예: 문자나 토큰)를 마르코프 추론할 수 있도록 설계되어 있어, 확장 가능하고 효과적인 학습을 허용합니다. 이 프레임워크를 활용하여, 자연어와 구조화된 사양을 혼합한 프로그래밍 코드 생성 문제를 다루었습니다. 이를 위해 Magic the Gathering 및 Hearthstone이라는 수집형 트레이딩 카드 게임에서 파생된 두 개의 새로운 데이터 세트를 작성했습니다. 이러한 데이터 세트와 기존의 또 다른 코퍼스에서, 여러 예측자들을 마르코프 추론함으로써 우리의 모델이 강력한 벤치마크를 능가하는 것을 입증하였습니다.注释：在“마르코프 추론”中，"마르코夫"是“Markov”的音译，用于表示马尔可夫过程中的推断。如果需要更精确的术语，可以使用“마르코프 적분”（Marginalization）。