당신이 나와 대화하고 있나요? 적대적 학습을 통한 논리적인 시각 대화 생성

시각적 대화 작업은 에이전트가 이미지에 대해 인간과 대화를 나누는 것을 요구합니다. 이 작업은 시각적 질문 응답 작업의 확장으로, 에이전트가 이미지에 대한 질문을 답해야 하지만, 그 전에 이루어진 대화를 고려하여 답변해야 합니다. 시각적 대화의 핵심 과제는 일관성 있고 자연스러운 대화를 유지하면서도 정확한 답변을 제공하는 것입니다. 우리는 강화학습과 생성적 적대 네트워크(GANs)를 결합하여 더욱 인간 같은 질문 응답을 생성하는 새로운 접근 방식을 제시합니다. GAN은 훈련 데이터의 상대적인 부족 문제와 일반적으로 MLE(최대우도추정) 기반 접근 방식이 지나치게 간결한 답변을 생성하는 경향을 극복하는 데 도움을 줍니다. 특히, GAN은 각 답변에 대한 인간이 해석할 수 있는 이유를 생성하는 주의 메커니즘에 밀접하게 통합됩니다. 즉, GAN의 판별 모델은 제공된 이유를 바탕으로 후보 답변이 인간이 생성한 것인지 아닌지를 평가하는 역할을 합니다. 이는 중요하며, 생성 모델이 관련 추론에 의해 잘 뒷받침되는 고품질의 답변을 생성하도록 유도합니다. 또한 이 방법은 주요 벤치마크에서 최신 결과를 생성합니다.