HyperAIHyperAI

Command Palette

Search for a command to run...

線形加法的アテンションを用いた効率的な生成対抗ネットワーク(Generative Adversarial Networks)

Emilio Morales-Juarez Gibran Fuentes-Pineda

概要

近年、画像生成に用いられる深層生成モデル(たとえば、拡散モデル(Diffusion Models, DMs)や生成的対抗ネットワーク(Generative Adversarial Networks, GANs))の性能は著しく向上しているが、その多くは計算コストが非常に高いアーキテクチャに起因している。このため、これらのモデルの導入や利用は、大規模なリソースを有する研究機関や企業に限定されており、トレーニング、ファインチューニング、推論における炭素排出量も顕著に増加している。本研究では、新たなGANアーキテクチャであるLadaGANを提案する。このアーキテクチャは、線形アテンションを用いたTransformerブロック「Ladaformer」に基づいている。このブロックの核心となるのは、各ヘッドごとに二次元的なドット積アテンションではなく、単一のアテンションベクトルを計算する線形加法的アテンション機構である。LadaGANでは、生成器および識別器の両方にLadaformerを採用することで、計算複雑度を低減し、TransformerベースのGANにしばしば見られる学習の不安定性を克服している。LadaGANは、異なる解像度におけるベンチマークデータセット上で、従来の畳み込み型およびTransformer型GANを一貫して上回る性能を発揮するとともに、著しく効率的である。さらに、複数ステップ生成モデル(例:DMs)の最先端性能と比較しても、計算リソースを数桁程度に抑えながら競争力のある性能を達成している。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
線形加法的アテンションを用いた効率的な生成対抗ネットワーク(Generative Adversarial Networks) | 記事 | HyperAI超神経