초록
우리는 분기 프로그램과 이를 구성하는 함수를 동시에 학습하기 위한 새로운 동적 미분 추론(Dynamic Differentiable Reasoning, DDR) 프레임워크를 제시합니다. 이는 최근의 동적 아키텍처에서 발생하는 주요한 비미분성 문제를 해결합니다. 우리는 이 프레임워크를 두 가지 고도로 컴팩트하고 데이터 효율적인 아키텍처에 적용하여 두 가지 설정을 다루었습니다: CLEVR 시각 질문 응답을 위한 DDRprog와 역 폴란드 표기법 표현 평가를 위한 DDRstack입니다.DDRprog는 반복 컨트롤러를 사용하여 질문 논리와 직접 대응하는 모듈화된 신경망 프로그램을 예측하고 실행합니다. 논리적 분기를 처리하기 위해 명시적으로 하위 프로세스를 포크(forks)합니다. 구조적 감독을 효과적으로 활용함으로써, 우리는 하위 작업 일관성에서 이전 접근 방식보다 큰 개선을 이루었으며, 전체 정확도에서도 소폭의 개선을 보였습니다.또한, RPN 설정에서 구조적 감독의 이점을 보여주기 위해 DDRstack에 스택 가정(stack assumption)을 포함시켰습니다. 이로 인해 우리의 접근 방식은 LSTM이 실패하는 긴 표현에 대해 일반화할 수 있게 되었습니다.