다중 주의 반복 신경망을 이용한 인간 의사소통 이해

인간의 대면 의사소통은 복잡한 다중 모달 신호입니다. 우리는 언어 모달(단어), 시각 모달(제스처) 및 음성 모달(음조 변화)을 사용하여 우리의 의도를 전달합니다. 인간은 대면 의사소통을 쉽게 처리하고 이해할 수 있지만, 이 형태의 의사소통을 이해하는 것은 인공지능(AI)에게 여전히 큰 도전과제입니다. AI는 인간 의사소통을 형성하는 각 모달 간의 상호작용을 이해해야 합니다. 본 논문에서는 인간 의사소통을 이해하기 위한 새로운 신경망 구조인 다중 주의 순환 네트워크(Multi-attention Recurrent Network, MARN)를 제시합니다. 우리 모델의 주요 장점은 시간에 따른 모달 간 상호작용을 발견하는 데 사용되는 신경망 구성 요소인 다중 주의 블록(Multi-attention Block, MAB)과 이를 순환 구성 요소인 장단기 혼합 메모리(Long-short Term Hybrid Memory, LSTHM)에 저장하는 것입니다. 우리는 다중 모달 감정 분석, 화자 특성 인식 및 감정 인식을 위한 6개의 공개 데이터셋에서 광범위한 비교 실험을 수행했습니다. MARN은 모든 데이터셋에서 최신 성능을 보여주었습니다.