텍스트 내 감정을 탐지하는 데 있어 상당한 진전이 있었지만, 발화 수준의 감정 인식(utterance-level emotion recognition, ULER) 분야에서는 여전히 해결해야 할 많은 문제들이 존재한다. 본 논문에서는 대화 시스템 내 ULER에서 직면하는 몇 가지 도전 과제를 다룬다. (1) 동일한 발화가 다른 맥락이나 다른 발화자로부터 전달될 경우 서로 다른 감정을 전달할 수 있다. (2) 장거리 맥락 정보를 효과적으로 포착하는 것이 어렵다. (3) 기존의 텍스트 분류 문제와 달리, 이 작업은 제한된 수의 데이터셋에 의해 지원되며, 그 중 대부분이 부족한 대화나 음성 데이터를 포함하고 있다. 이러한 문제들을 해결하기 위해, 하위 수준의 트랜스포머는 단어 수준의 입력을 모델링하고, 상위 수준의 트랜스포머는 발화 수준의 임베딩 맥락을 포착하도록 구성된 계층적 트랜스포머 프레임워크를 제안한다. 본 논문에서 언급되는 ‘트랜스포머’는 일반적으로 트랜스포머의 인코더 부분을 의미한다. 하위 수준 트랜스포머로는 미리 훈련된 언어 모델인 BERT(Bidirectional Encoder Representations from Transformers)를 사용하였으며, 이는 모델에 외부 데이터를 도입하는 효과를 가져와 데이터 부족 문제를 어느 정도 해결한다. 또한 본 논문에서는 처음으로 발화자 임베딩을 모델에 추가함으로써, 발화자 간의 상호작용을 모델이 포착할 수 있도록 하였다. Friends, EmotionPush, EmoryNLP 세 가지 대화 감정 데이터셋에서 수행한 실험 결과, 제안하는 계층적 트랜스포머 네트워크 모델이 각각 기존 최고 성능 모델 대비 매크로-F1 기준으로 1.98%, 2.83%, 3.94%의 성능 향상을 달성하였다.