생각한 후에 시뮬레이션하라: 반사적 질문에 대한 답변을 위한 신경망 계산을 조율하기 위한 상징적 추론

비디오 동역학에 대한 인과적 및 시계적 추론은 도전적인 문제이다. 신경-심볼릭 모델은 신경 기반 인식 및 예측과 심볼릭 추론을 결합함으로써 유망한 성과를 보여주고 있으나, 특히 반사적(Counterfactual) 질문에 대한 대응에서 한계를 드러낸다. 본 논문은 사건 간 인과 관계에 대한 심볼릭 추론을 활용하여 신경-심볼릭 모델의 반사적 추론 능력을 향상시키는 방법을 제안한다. 우리는 이러한 인과 관계를 표현하기 위해 인과 그래프(cause graph)의 개념을 정의하고, 설명적 논리 프로그래밍 방식인 답변 집합 프로그래밍(Answer Set Programming, ASP)을 사용하여 인식 모듈과 시뮬레이션 모듈 간의 조율 방안을 탐색한다. 제안한 방법의 효과성은 CLEVRER와 CRAFT 두 가지 벤치마크에서 검증되었으며, CLEVRER 챌린지에서는 기존 모델들을 크게 능가하는 최신 기술 수준의 성능을 달성하였다. CRAFT 벤치마크의 경우, 동역학 시뮬레이터의 대리 역할을 수행할 수 있도록 사전에 대규모 언어 모델(GPT-3.5 및 GPT-4)을 활용하였다. 연구 결과, 심볼릭 인과 추론에 기반한 대체 프롬프트를 제공함으로써 반사적 질문에 대한 성능이 추가로 향상됨을 확인하였다.