다중 의도 NLU를 위한 두 단계 예측 인식 대비 학습 프레임워크

다중 의도 자연어 이해(NLU)는 단일 발화 내에 존재하는 다수의 의도로 인해 모델의 혼란이 발생함으로써 도전적인 과제를 안고 있다. 기존의 연구들은 서로 다른 다중 의도 레이블 간의 간격을 확대하기 위해 대조적 학습(contrastive learning)을 통해 모델을 훈련하지만, 이러한 접근은 다중 의도 NLU의 미묘한 특성에 적합하지 않다. 특히 저데이터 환경에서 더 나은 임베딩 공간을 구성하는 데 유익한 공유된 의도 간의 풍부한 정보를 간과하고 있다. 본 연구에서는 이러한 유용한 지식을 활용하기 위해 다중 의도 NLU를 위한 이단계 예측 인지형 대조 학습(Prediction-Aware Contrastive Learning, PACL) 프레임워크를 제안한다. 제안하는 방법은 단어 수준의 사전 훈련과 예측 인지형 대조 미세 조정을 통합함으로써 공유된 의도 정보를 효과적으로 활용한다. 사전 훈련을 위해 단어 수준의 데이터 증강 전략을 활용하여 사전 훈련 데이터셋을 구축한다. 이후 본 프레임워크는 대조 미세 조정 과정에서 인스턴스에 동적으로 역할을 할당하고, 예측 인지형 대조 손실을 도입하여 대조 학습의 영향력을 극대화한다. 제안한 방법은 널리 사용되는 세 가지 데이터셋을 대상으로 실험 결과와 실증 분석을 제시하며, 저데이터 및 전체 데이터 환경 모두에서 세 가지 주요 기준 모델을 초월하는 성능을 입증한다.