HyperAIHyperAI

Command Palette

Search for a command to run...

密接接続型正規化フロー

Matej Grcić Ivan Grubišić Siniša Šegvić

概要

ノーマライズドフローは、入力と潜在表現の間で全因子化された分布を持つ双射変換であり、正確な尤度評価と効率的なサンプリングが可能であるため、非常に魅力的である。しかし、双射性の制約によりモデルの表現力が制限されるため、実際の有効容量はしばしば不十分となる。本研究では、中間表現に逐次的にノイズを追加することでこの問題に対処する。このノイズは、前の可逆ユニットに応じて事前調整(プリコンディショニング)される。これを「ユニット間結合(cross-unit coupling)」と呼ぶ。我々が提案する可逆なグロー型モジュールは、密結合ブロックとニストロム自己注意(Nystrom self-attention)を統合することで、モデルの表現力を向上させる。このアーキテクチャは、ユニット間およびモジュール内における結合がいずれも密結合に基づくため、DenseFlowと呼ぶ。実験の結果、提案手法により顕著な性能向上が確認され、比較的制限された計算リソース下でも最先端の密度推定性能を達成することが示された。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
密接接続型正規化フロー | 記事 | HyperAI超神経