엔드투엔드 미분 가능한 증명에서 추론 전략 학습하기

딥러닝 모델의 해석 가능성, 데이터 효율성, 그리고 견고성을 향상시키기 위한 시도는 규칙 기반 시스템과의 하이브리드화를 통해 일부 성공을 거두었다. 예를 들어, 신경논리정리기(Neural Theorem Provers, NTPs)가 그 대표적인 사례이다. 이러한 신경-심볼릭 모델은 역전파를 통해 데이터로부터 표현을 학습하면서도, 예측에 대한 논리적 설명을 제공하며 해석 가능한 규칙을 유도할 수 있다. 그러나 이러한 모델은 모든 가능한 증명 경로를 고려해야 하는 계산 복잡성의 한계를 지니고 있어, 대규모 응용에는 부적합하다. 본 연구에서는 NTP의 확장형으로서, 그래디언트 기반 최적화를 통해 최적의 규칙 선택 전략을 학습하는 조건부 정리기(Conditional Theorem Provers, CTPs)를 제안한다. 우리는 CTPs가 확장 가능하며, CLUTRR 데이터셋에서 최신 기준 성능을 달성함을 보여준다. 이 데이터셋은 작은 그래프에서 추론을 학습하고, 더 큰 그래프에서 평가함으로써 신경망 모델의 체계적 일반화 능력을 시험한다. 또한, 기존의 다른 신경-심볼릭 모델들과 비교해 표준 벤치마크에서 더 우수한 링크 예측 성능을 보이며, 해석 가능성 또한 유지함을 확인하였다. 모든 소스 코드와 데이터셋은 https://github.com/uclnlp/ctp 에 공개되어 있다.