2달 전

역할 수 있는 잔차 네트워크

Jens Behrmann; Will Grathwohl; Ricky T. Q. Chen; David Duvenaud; Jörn-Henrik Jacobsen
역할 수 있는 잔차 네트워크
초록

우리는 표준 ResNet 구조가 역변환 가능(invertible)하도록 만들 수 있음을 보여주며, 이는 동일한 모델을 분류, 밀도 추정, 그리고 생성에 사용할 수 있게 합니다. 일반적으로 역변환성을 강제하기 위해서는 차원을 분할하거나 네트워크 구조를 제한하는 것이 필요합니다. 반면에 우리의 접근 방식은 훈련 중에 간단한 정규화 단계를 추가하는 것만으로 충분하며, 이는 이미 표준 프레임워크에서 제공되고 있습니다. 역변환 가능한 ResNets는 라벨이 없는 데이터에 대해 최대 우도(maximum likelihood)로 훈련될 수 있는 생성 모델을 정의합니다. 우도를 계산하기 위해 우리는 잔차 블록(residual block)의 야코비안 로그 행렬식(Jacobian log-determinant)에 대한 계산 가능한 근사법을 도입하였습니다. 우리의 경험적 평가는 역변환 가능한 ResNets가 최신 이미지 분류기와 유동 기반 생성 모델(flow-based generative models) 모두와 경쟁력 있게 수행됨을 보여주며, 이는 단일 아키텍처로 이전에는 달성되지 않았던 성과입니다.

역할 수 있는 잔차 네트워크 | 최신 연구 논문 | HyperAI초신경