HyperAIHyperAI

Command Palette

Search for a command to run...

離散フロー:離散データの可逆生成モデル

Dustin Tran Keyon Vafa Kumar Krishna Agrawal Laurent Dinh Ben Poole

概要

正規化フローは、高次元連続分布のモデリングにおいて重要な進歩をもたらしましたが、離散分布への適用可能性については未だ不明確なままであります。本論文では、フローが実際には離散事象に拡張可能であることを示します。これは、対数行列式ヤコビアン計算を必要としない単純な変数変換公式によって達成されます。離散フローには多くの応用例があります。私たちは2つのフローアーキテクチャを検討します:双方向性を可能にする離散自己回帰フロー(例えば、正確な言語モデルにおいてテキスト内のトークンが左から右および右から左のコンテキストに依存するようにする);RealNVPのように効率的な非自己回帰生成を可能にする離散二部フローです。経験的に、私たちは離散自己回帰フローが合成された離散分布、加算タスク、ポッツモデルにおいて自己回帰基準モデルを上回ることを見出しました;また、離散二部フローはPenn Tree Bankやtext8の文字レベル言語モデリングにおいて自己回帰基準モデルと競合する性能を得られることが確認されました。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています