17일 전
확률미분방정식을 위한 확장 가능한 그래디언트
Xuechen Li, Ting-Kam Leonard Wong, Ricky T. Q. Chen, David Duvenaud

초록
상수적 감도 방법(Adjoint sensitivity method)은 상미분방정식의 해에 대한 기울기를 효율적으로 계산할 수 있다. 본 연구에서는 이 방법을 확률적 미분방정식(stochastic differential equations)으로 일반화하여, 고차 적응형 해법을 사용할 때에도 시간 효율적이고 메모리 고정적인 기울기 계산을 가능하게 한다. 구체적으로, 기울기를 나타내는 확률적 미분방정식을 도출하고, 노이즈를 캐싱하는 메모리 효율적인 알고리즘을 제안하며, 수치적 해의 수렴 조건을 규명하였다. 또한, 잠재적 확률적 미분방정식에 대해 기울기 기반 확률적 변분 추론(stochastic variational inference)과 본 방법을 결합하였다. 제안한 방법을 신경망으로 정의된 확률적 동역학 모델에 적용하여, 50차원의 움직임 캡처 데이터셋에서 경쟁력 있는 성능을 달성하였다.