딥 러닝을 통한 확률적 추론: 신경 연관 모델

본 논문에서는 인공지능에서 확률적 추론을 위한 새로운 딥 러닝 접근법인 신경 연관 모델(Neural Association Model, NAM)을 제안합니다. 우리는 신경망을 사용하여 영역 내의 두 사건 사이의 연관성을 모델링하는 방법을 제안합니다. 신경망은 하나의 사건을 입력으로 받아 다른 사건의 조건부 확률을 계산하여 이 두 사건이 연관될 가능성을 모델링합니다. 조건부 확률의 실제 의미는 응용 분야에 따라 다르며, 모델이 어떻게 훈련되었는지에 따라 결정됩니다.본 연구에서는 두 가지 사례 연구를 통해 DNN(Deep Neural Networks)과 RMNN(Relation-Modulated Neural Nets)이라는 두 가지 NAM 구조를 여러 AI 확률적 추론 과제에 적용하였습니다. 이 과제들은 텍스트 함축 인식, 다중 관계 지식 기반에서의 트리플 분류 및 상식 추론 등을 포함합니다. WordNet, FreeBase, ConceptNet 등에서 유래된 여러 인기 데이터셋에 대한 실험 결과는 DNN과 RMNN 모두가 동등한 성능을 보이며, 이러한 추론 과제에 대해 기존 방법들을 크게 능가할 수 있음을 입증하였습니다.또한, DNN과 비교했을 때 RMNN은 지식 전송(knowledge transfer) 측면에서 우수함을 보였습니다. 사전 훈련된 모델은 몇 개의 훈련 샘플만 관찰한 후에도 미처 본 적 없는 관계로 빠르게 확장될 수 있습니다. 제안된 모델들의 효과를 더욱 증명하기 위해, 본 연구에서는 NAM을 도전적인 윈그라드 스키마(Winograd Schema, WS) 문제 해결에 적용하였습니다. WS 문제 세트에 대한 실험 결과는 제안된 모델들이 상식 추론에 잠재력을 가지고 있음을 입증하였습니다.