초록
우리는 신경 상태 기계(Neural State Machine)를 소개하며, AI의 신경망적 접근과 상징적 접근 사이의 간극을 메우고 시각적 추론 작업에서 서로 보완적인 강점을 통합하려는 목표를 가지고 있습니다. 주어진 이미지에 대해 먼저 그 아래에 있는 의미를 나타내는 확률 그래프를 예측합니다. 이 그래프는 구조화된 세계 모델로 작용합니다. 그런 다음, 주어진 질문에 답하거나 새로운 추론을 도출하기 위해 그래프의 노드를 반복적으로 순회하면서 순차적인 추론을 수행합니다. 대부분의 신경 아키텍처가 원시 감각 데이터와 밀접하게 상호작용하도록 설계되어 있는 것과 달리, 우리의 모델은 시각적 및 언어적 모달성을 의미 개념 기반 표현으로 변환하여 추상 잠재 공간에서 작동함으로써 향상된 투명성과 모듈성을 실현합니다.우리는 VQA-CP와 GQA라는 두 가지 최근 VQA 데이터셋에서 우리 모델을 평가하였습니다. 이 데이터셋들은 구성성(compositionality), 다단계 추론(multi-step inference) 및 다양한 추론 능력을 포함하고 있으며, 두 경우 모두 최신 연구 결과(state-of-the-art results)를 달성하였습니다. 또한, 개념의 새로운 조합, 답변 분포의 변화, 그리고 미처 본 적 없는 언어 구조 등 여러 차원에서 모델의 뛰어난 일반화 능력을 보여주는 추가 실험들을 제공하였습니다. 이러한 실험들은 우리 접근 방식의 우수성과 효과성을 입증하고 있습니다.