HyperAIHyperAI

Command Palette

Search for a command to run...

PixelCNN++: ピクセルCNNの改善に離散ロジスティック混合尤度およびその他の変更を用いる

Tim Salimans; Andrej Karpathy; Xi Chen; Diederik P. Kingma

概要

ピクセルCNNは、最近提案された強力な生成モデルの一種であり、計算可能な尤度を有しています。本稿では、https://github.com/openai/pixel-cnn で公開しているピクセルCNNの実装について述べます。当該実装では、元のモデルの構造を簡素化し、性能を向上させるための数々の改良が施されています。1) ピクセルに対して離散ロジスティック混合尤度を使用しており、256ウェイのソフトマックスではなく、これにより学習が加速することを確認しています。2) R/G/Bサブピクセルではなく、全体的なピクセルに条件付けを行うことで、モデルの構造が単純化されます。3) 下サンプリングを使用して、複数の解像度での構造を効率的に捉えています。4) さらに最適化を加速するために、追加のショートカット接続を導入しています。5) ドロップアウトを使用してモデルを正則化しています。最後に、これらの改良が有用であることを示すために、CIFAR-10における最先端の対数尤度結果を提示します。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています