언제부터 이렇게 똑똑해졌는지, 오 헤아릴 수 없는 지혜로운 자여! 비유적 표현 해석: 다중 모달 다중 당사자 대화에서의 비꼬는 말

비유적 표현을 포함한 간접적 언어, 예를 들어 풍자적 언어는 인간 소통에서 다양한 담론적 목표를 달성하는 데 기여한다. 비유적 언어의 간접성은 말하는 이가 특정 담론적 목적을 달성할 수 있도록 해주지만, 이러한 인간 소통의 독특한 특성은 인공지능(AI) 에이전트가 이해하기에 어려운 과제이다. 풍자 감지에 관한 연구는 대화 분석 분야에서 오랫동안 탐구되어온 주제이지만, 대화 시스템이 대화의 본질적인 의미를 진정으로 이해하고 적절한 응답을 생성하기 위해서는 단순히 풍자를 탐지하는 것만으로는 부족하다. 오히려 풍자의 근본적인 비유적 함의를 설명하는 것이 그 진정한 본질을 포착하는 데 필수적이다. 본 연구에서는 풍자적 대화의 담론 구조를 분석하고, 새로운 작업인 대화 내 풍자 설명(Sarcasm Explanation in Dialogue, SED)을 제안한다. 다중모달성과 코드 믹스(code-mixed) 환경을 기반으로 한 이 작업은 풍자적 대화의 자연어 설명을 생성하는 것을 목표로 한다. 이를 위해 본 연구는 해당 작업을 지원하기 위해 새로운 데이터셋인 WITS를 구축하였다. 또한, 다중모달 정보를 인지하고 전역적 정보를 융합하는 모듈인 MAF(Modality Aware Fusion)를 제안하였으며, 이를 통해 WITS 데이터셋에 대한 벤치마킹을 수행하였다. 제안된 주의 메커니즘은 기존의 다중모달 융합 기반 기준 모델들을 능가하며, 거의 모든 평가 지표에서 최고의 성능을 기록하였다. 마지막으로, 양적 및 질적 분석을 통해 깊이 있는 평가를 수행하였다.