TrICy: Trigger-가이드된 데이터-텍스트 생성에 의도 인식 주의-복사 메커니즘 적용

데이터-텍스트(D2T) 생성은 많은 자연어 이해(NLU) 응용 프로그램에서 중요한 작업이며, 목적 지향 대화 시스템의 기반이 됩니다. 사용자의 장치에 직접 로컬 데이터와 함께 작동할 수 있는 대화형 AI 솔루션의 맥락에서, 큰 사전 훈련된 언어 모델(PLMs)을 활용한 아키텍처는 높은 메모리 부하로 인해 단말기 배포에 적합하지 않습니다. 이를 해결하기 위해, 우리는 문맥 내 의도에 기반하여 텍스트 시퀀스를 생성하고, 사용자가 제공하는 트리거로 추가적으로 안내될 수 있는 개선된 D2T 작업을 위한 새로운 경량 프레임워크인 TrICy를 제안합니다. 우리는 어텐션-카피 메커니즘을 활용하여 어휘 외(OOV) 단어를 정확히 예측합니다. E2E NLG 데이터셋(BLEU: 66.43%, ROUGE-L: 70.14%), WebNLG 데이터셋(BLEU: Seen 64.08%, Unseen 52.35%), 그리고 텍스트 메시징 애플리케이션과 관련된 우리의 커스텀 데이터셋에서 수행 분석 결과는 우리 아키텍처의 효과성을 입증합니다. 또한, 선택적 트리거 입력을 활용함으로써 D2T 생성 품질이 크게 향상되어 E2E NLG에서 새로운 최고 성능(SOTA) 점수인 69.29% BLEU를 달성함을 보여줍니다. 더불어, 우리의 분석은 TrICy가 GPT-3, ChatGPT, Llama 2와 같은 LLMs보다 BLEU에서 최소 24%, METEOR에서 최소 3% 개선됨을 입증합니다. 또한 일부 시나리오에서는 트리거가 학습 과정에 포함되지 않았더라도 성능 개선이 관찰됨을 보여주었습니다.