의미 조건부 다이얼로그 응답 생성을 위한 계층적 분리된 자기 주의 메커니즘

제한된 영역에서 의미적으로 제어된 신경망 응답 생성은 뛰어난 성능을 달성하였습니다. 그러나 다중 영역의 대규모 시나리오로 확장하는 것은 의미 입력의 가능한 조합이 영역 수에 따라 지수적으로 증가하기 때문에 어려움을 보이고 있습니다. 이러한 확장성 문제를 완화하기 위해, 우리는 대화 행위(dialog acts)의 구조를 활용하여 다층 계층 그래프를 구축하였습니다. 이 그래프에서는 각 행위가 루트에서 리프까지의 경로로 표현됩니다. 그런 다음, 이러한 그래프 구조를 귀납적 편향(inductive bias)으로 사용하여 계층적으로 분리된 자기 주목력(self-attention) 네트워크를 구축하였습니다. 여기서 우리는 주목력 헤드(attention heads)를 분리하여 대화 행위 그래프상의 지정된 노드들을 모델링합니다. 각 계층에서 다른 (분리된) 헤드들을 활성화함으로써 조합적으로 많은 대화 행위 의미들을 모델링할 수 있어 신경망 응답 생성을 제어할 수 있습니다. 대규모 다중 영역 WOZ(Multi-Domain-WOZ) 데이터셋에서 우리의 모델은 다양한 자동 및 인간 평가 지표에 대해 기준 모델(baselines)보다 유의미한 개선을 보였습니다.