풍자에서 정서 인식을 위한 다중모달 코퍼스

감정 및 감성 분석은 광범위하게 연구되어 왔지만, 풍자와 감정 사이의 관계는 여전히 거의 탐구되지 않은 영역이다. 풍자적인 표현은 다양한 내재된 감정을 내포할 수 있다. 예를 들어, "나는 무시당하는 걸 정말 사랑해"라는 문장은 슬픔을 드러내며, "내 핸드폰 배터리 수명이 겨우 15분이지만 정말 훌륭해!"라는 표현은 좌절감을 나타낸다. 풍자적 표현 뒤에 숨은 감정을 탐지하는 것은 어렵지만 매우 중요한 과제이다. 본 연구는 풍자적 표현 속의 감정을 탐지하는 작업에 착수하였으며, 우리 지식 범위 내에서 이는 이전까지 탐구되지 않은 분야이다. 우리는 최근 공개된 다모달 풍자 탐지 데이터셋(MUStARD)을 기반으로 하였으며, 이 데이터셋은 9가지 감정에 대해 사전 레이블링되어 있다. 본 연구에서는 총 690개 중 343개의 잘못된 감정 레이블을 식별하고 수정하였다. 데이터셋의 크기를 두 배로 확장하였으며, 감정의 강도를 나타내는 중요한 지표인 밸런스(valence)와 에러션(arousal) 정보도 함께 레이블링하였다. 또한, 풍자 표현을 네 가지 유형—명제적 풍자(Propositional), 내재적 풍자(Embedded), Like 접두어 풍자(Like-prefixed), 이로큐션어리 풍자(Illocutionary)—으로 분류하여 각각의 풍자 유형에 대해 레이블링함으로써 풍자 탐지 연구의 발전을 목표로 하였다. 텍스트, 음성, 영상의 다모달 융합 모델을 활용한 철저한 실험을 통해, 풍자 내 감정 정확 인식을 위한 기준(Benchmark)을 설정하였으며, 기존 최고 수준의 풍자 탐지 성능을 초월하였다. 본 연구에서는 다양한 레이블링 정보가 추가된 데이터셋과 연구용 코드를 공개한다. 자세한 내용은 다음 링크에서 확인할 수 있다: https://github.com/apoorva-nunna/MUStARD_Plus_Plus