Boyang Zheng Nanye Ma Shengbang Tong Saining Xie

要約

潜在的生成モデリングにおいて、事前学習されたオートエンコーダーがピクセルを潜在空間にマッピングし、拡散プロセスに用いるというアプローチは、拡散変換器（DiT）における標準的な戦略となっている。しかしながら、オートエンコーダーの構成要素はほとんど進化していない。多くのDiTは依然として元のVAEエンコーダーに依存しており、これによりいくつかの制約が生じている。具体的には、アーキテクチャの単純性を損なう古いバックボーン、情報容量を制限する低次元の潜在空間、そして単一の再構成に基づく学習に起因する弱い表現力が挙げられ、これらは生成品質の向上を妨げている。本研究では、VAEを事前学習された表現エンコーダー（例：DINO、SigLIP、MAE）と訓練済みデコーダーの組み合わせで置き換えるアプローチを検討し、これを「表現オートエンコーダー（Representation Autoencoders, RAEs）」と呼ぶ。これらのモデルは、高品質な再構成と意味的に豊かな潜在空間を両立しつつ、スケーラブルなトランスフォーマー基盤のアーキテクチャを実現可能とする。ただし、これらの潜在空間は通常高次元であるため、拡散変換器がその中で効果的に動作できるようにするという課題が生じる。本研究では、この困難の原因を分析し、理論的に根拠を持つ解決策を提案し、実証的に検証した。提案手法は、補助的な表現アライメント損失を用いずに、より高速な収束を達成した。軽量かつワイドなDDTヘッドを搭載したDiTの変種を用いることで、ImageNet上で強力な画像生成性能を達成した。具体的には、256×256解像度でガイドなしの条件でFIDが1.51、ガイドありの条件下では256×256および512×512解像度でいずれもFIDが1.13を達成した。本研究のRAEアプローチは明確な利点を有し、拡散変換器の学習における新たな標準となるべきである。