초록
대화는 정보 교환의 효과적인 방법이지만, 미묘한 세부 사항과 뉘앙스가 매우 중요합니다. 시각적 대화를 알고리즘으로 처리하는 데 있어 상당한 진전이 이루어졌음에도 불구하고, 이러한 세부 사항과 뉘앙스는 여전히 도전 과제입니다. 주의 메커니즘이 시각적 질문 응답에서 세부 사항을 추출하는 데 강력한 결과를 보여주었으며, 해석 가능성과 효율성 덕분에 시각적 대화에서도 설득력 있는 프레임워크를 제공합니다. 그러나 시각적 대화와 관련된 다양한 데이터 유틸리티들은 기존의 주의 기술에 도전하고 있습니다. 이 문제를 해결하기 위해 우리는 어떤 수의 데이터 유틸리티에서도 작동할 수 있는 일반적인 주의 메커니즘을 개발하였습니다. 이를 위해 우리는 임의의 수의 유틸리티 표현을 결합할 수 있는 인자 그래프(factor graph) 기반 주의 메커니즘을 설계하였습니다. 제안된 접근 방식의 적용성을 최근 소개된 어려운 VisDial 데이터셋에서 확인하였으며, VisDial0.9에서는 최근 최신 방법보다 1.1% 향상되었고, VisDial1.0에서는 MRR(Mean Reciprocal Rank)에서 2% 향상되었습니다. 우리의 앙상블 모델은 VisDial1.0에서 MRR 점수를 6% 이상 개선하였습니다.