초록
딥 네트워크 기반의 확률 밀도 모델은 복잡한 고차원 데이터셋을 모델링하는 데 있어 놀라운 성공을 거두었다. 그러나 커널 밀도 추정기와 달리, 현대의 신경망 모델은 이러한 양이 평소에 해석이 불가능한 적분을 요구하므로, 닫힌 형태로 주변확률이나 조건부 확률을 얻을 수 없다. 본 연구에서는 변수의 임의의 부분집합에 대한 확률, 주변확률, 조건부 확률에 대해 닫힌 형태의 표현을 제공하는 새로운 딥 네트워크 아키텍처인 '주변화 가능한 밀도 모델 근사기(Marginalizable Density Model Approximator, MDMA)'를 제안한다. MDMA는 각 개별 변수에 대해 깊은 스칼라 표현을 학습하고, 이를 학습된 계층적 텐서 분해를 통해 다루기 쉬우면서도 표현력이 풍부한 누적분포함수(CDF)로 결합한다. 이로부터 주변확률과 조건부 밀도를 쉽게 도출할 수 있다. 우리는 기존의 딥 네트워크 기반 밀도 추정 모델이 접근이 어려운 여러 과제에서 정확한 주변화 가능성의 장점을 입증한다. 예를 들어, 임의의 변수 부분집합 간의 상호정보량 추정, 조건부 독립성 검증을 통한 인과관계 추론, 데이터 보정 없이 누락된 데이터에 대한 추론 등이 있다. 이러한 과제들에서 기존의 최첨단 모델들을 능가하는 성능을 보였다. 또한 본 모델은 변수의 개수에 대해 시간 복잡도가 로그 수준으로만 의존하는 병렬 샘플링을 가능하게 하여, 대규모 변수 시스템에서도 효율적인 추론이 가능하다.