11일 전

텍스트 기술로부터의 역할 인지 상호작용 생성

{Kent Fujiwara, Mikihiro Tanaka}
텍스트 기술로부터의 역할 인지 상호작용 생성
초록

이 연구는 텍스트 기술에 해당하는 두 명의 인간 극작가 간의 상호작용을 생성하는 문제를 다룬다. 우리는 특정 상호작용, 즉 비대칭 상호작용(asymmetric interactions)에 대해, 작용자(actor)와 수신자(receiver) 사이의 관계가 있으며, 이들의 운동 패턴이 부여된 역할에 따라 크게 달라진다고 주장한다. 그러나 기존의 상호작용 생성 연구들은 단일 레이블과 두 극작가의 운동을 결합한 형태로 대응 관계를 학습하려 하며, 개별 역할 간의 차이를 간과하고 있다. 본 연구에서는 생성 전에 역할이 명시될 수 있는 역할 인지 상호작용 생성(role-aware interaction generation)이라는 새로운 문제를 제안한다. 비대칭 상호작용의 텍스트를 작용자 중심의 능동태(active voice)와 수신자 중심의 수동태(passive voice)로 변환함으로써, 각 역할에 맞는 텍스트 맥락을 일관성 있게 유지한다. 또한, 지정된 역할의 운동을 생성하도록 학습하는 모델을 제안하며, 이러한 운동들이 서로 일관된 상호작용을 형성하도록 한다. 본 모델은 개별적인 운동을 별도로 처리하기 때문에, 단일 인물의 운동 데이터로부터 사전 훈련(pretraining)을 통해 지식을 추출할 수 있으며, 더 정확한 상호작용 생성이 가능하다. 더불어, 추가적인 레이블 없이도 두 행동 중 어떤 것이 작용자 또는 수신자에 해당하는지를 자동으로 학습할 수 있는, Permutation Invariant Training(PIT)에 영감을 받은 새로운 방법을 제안한다. 또한, 기존 평가 지표들이 생성된 상호작용의 품질을 정확히 평가하지 못하는 사례를 제시하고, 이러한 한계를 보완하기 위해 새로운 평가 지표인 상호 일관성(Mutual Consistency)을 제안한다. 실험 결과는 제안된 방법의 효과성과 새로운 지표의 필요성을 입증한다. 본 연구의 코드는 https://github.com/line/Human-Interaction-Generation 에서 공개되어 있다.

텍스트 기술로부터의 역할 인지 상호작용 생성 | 최신 연구 논문 | HyperAI초신경