HyperAIHyperAI

Command Palette

Search for a command to run...

FInC フロー:正規化フローにおける高速かつ逆可換な k×kk \times kk×k 卷積

Aditya Kallappa Sandeep Nagar Girish Varma

概要

可逆畳み込みは、Glowで導入されて以来、表現力豊かな正規化フローに基づく生成モデルを構築する上で不可欠な要素である。訓練およびサンプリングの各段階で効率的な可逆 k×kk \times kk×k 畳み込みの設計をめぐる多くの試みがなされてきた。これらのアプローチは、表現力およびサンプリング効率の向上に寄与したものの、サンプリング時間においては、単に 1×11 \times 11×1 畳み込みのみを用いたGlowに大きく遅れを取っていた。さらに、多くの手法では基盤となる畳み込みのパラメータの大部分をマスクしてしまうため、固定の実行時間制約下で表現力が低下するという問題も生じていた。本研究では、k×kk \times kk×k 畳み込み層およびDeep正規化フロー構造を提案する。本手法は以下の3つの特徴を持つ:i.) 入力画像の高さ・幅を nnn、カーネルサイズを kkk とすると、実行時間 O(nk2)O(nk^2)O(nk2) で並列的に逆変換が可能な高速なアルゴリズムを有する;ii.) 各層における学習可能パラメータのマスク量を最小限に抑える;iii.) 実世界のベンチマークにおいて、他の k×kk \times kk×k 畳み込みに基づくモデルと同等の前向き伝搬時間およびサンプリング時間を達成する。また、GPU上で本提案の可逆畳み込みを用いた並列サンプリングアルゴリズムの実装を提供する。CIFAR-10、ImageNet、CelebAデータセットにおけるベンチマーク評価結果から、従来手法と同程度の次元あたりビット数(bits per dimension)の性能を達成しつつ、サンプリング時間において顕著な改善が確認された。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています