초록
우리는 새로운 딥 뉴럴 네트워크 모델 가족을 소개합니다. 이 모델은 이산적인 은닉층의 시퀀스를 지정하는 대신, 은닉 상태의 도함수를 신경망으로 매개변수화합니다. 네트워크의 출력은 블랙박스 미분 방정식 솔버를 사용하여 계산됩니다. 이러한 연속 깊이 모델은 일정한 메모리 비용을 가지며, 각 입력에 대해 평가 전략을 조정할 수 있으며, 수치적 정밀도와 속도 사이에서 명시적으로 교환할 수 있습니다. 우리는 이러한 특성을 연속 깊이 잔차 네트워크와 연속 시간 잠재 변수 모델에서 보여줍니다. 또한 최대 우도로 훈련될 수 있는 데이터 차원을 분할하거나 순서대로 정렬하지 않는 생성 모델인 연속 정규화 흐름(continuous normalizing flows)을 구성합니다. 훈련 과정에서는 어떤 ODE 솔버의 내부 작업에 접근하지 않고도 효율적으로 역전파할 수 있는 방법을 설명합니다. 이는 ODE를 더 큰 모델 내에서 단일 연결으로 훈련할 수 있게 합니다.