초록
이 논문은 베이지안 플로우 네트워크(Bayesian Flow Networks, BFNs)라는 새로운 생성 모델 클래스를 제안한다. BFNs는 노이즈가 포함된 데이터 샘플을 바탕으로 독립적인 분포들의 파라미터를 베이지안 추론을 통해 수정한 후, 이를 신경망의 입력으로 사용하여 상호 의존적인 두 번째 분포를 출력한다. 단순한 사전 분포에서 시작하여 두 분포를 반복적으로 갱신함으로써, 확산 모델의 역과정과 유사한 생성 절차를 도출할 수 있다. 그러나 전방 과정(foward process)이 필요하지 않기 때문에 개념적으로 더 단순하다. 연속형, 이산화된, 이산형 데이터에 대해 각각 연속시간 및 이산시간 손실 함수를 도출하였으며, 샘플 생성 절차도 제안하였다. 특히 이산형 데이터의 경우 네트워크 입력은 확률 단체(probability simplex) 상에 존재하므로, 자연스럽게 미분 가능하며, 언어 모델링과 같은 이산 도메인에서 기울기 기반 샘플 안내 및 소수 단계 내 생성이 가능하게 한다. 손실 함수는 데이터 압축을 직접 최적화하며, 네트워크 아키텍처에 대한 제약을 두지 않는다. 실험 결과, 동적 이진화된 MNIST와 CIFAR-10 이미지 모델링에서 경쟁력 있는 로그 가능도(log-likelihood)를 달성하였으며, text8 문자 수준 언어 모델링 과제에서는 기존의 모든 이산 확산 모델을 초월하는 성능을 보였다.