17日前

確率微分方程式に対するスケーラブルな勾配

Xuechen Li, Ting-Kam Leonard Wong, Ricky T. Q. Chen, David Duvenaud
確率微分方程式に対するスケーラブルな勾配
要約

隣接感度法(adjoint sensitivity method)は、常微分方程式の解に対する勾配をスケーラブルに計算する手法である。本研究では、この手法を確率微分方程式(stochastic differential equations)に拡張し、高次の適応型解法を用いた場合でも、時間効率的かつ定常メモリ消費で勾配を計算可能にする。具体的には、勾配を解とする確率微分方程式を導出するとともに、ノイズのキャッシュに効率的なアルゴリズムを提案し、数値解の収束が成立する条件を明らかにした。さらに、潜在的な確率微分方程式に対する勾配ベースの確率的変分推論(gradient-based stochastic variational inference)と本手法を統合した。本手法を用いてニューラルネットワークで定義される確率的動力学をフィッティングし、50次元のモーションキャプチャデータセットにおいて競争力のある性能を達成した。