Command Palette
Search for a command to run...
局所性を考慮した並列デコーディングによる効率的な自己回帰画像生成
局所性を考慮した並列デコーディングによる効率的な自己回帰画像生成
Zhuoyang Zhang Luke J. Huang Chengyue Wu Shang Yang Kelly Peng Yao Lu Song Han
概要
私たちは、自己回帰画像生成を加速するための「局所性意識並列デコーディング(Locality-aware Parallel Decoding, LPD)」を提案します。従来の自己回帰画像生成は、次のパッチ予測に依存しており、このメモリ制約プロセスは高遅延につながります。既存の研究では、次の一パッチ予測をマルチパッチ予測にシフトすることで並列化を試みましたが、限られた並列化しか達成できませんでした。高い並列化を実現しつつ生成品質を維持するために、以下の2つの主要技術を導入しました:
柔軟な並列化自己回帰モデリング:これは任意の生成順序と並列度を可能にする新しいアーキテクチャです。学習可能な位置クエリトークンを使用して目標位置での生成をガイドし、同時に生成されるトークン間の相互可視性を確保することで一貫した並列デコーディングを実現します。
局所性意識生成順序:これはグループ内依存関係を最小限に抑えつつコンテキストサポートを最大化する新しいスケジューリング手法です。これにより生成品質が向上します。
これらの設計により、ImageNetクラス条件付き生成において品質に影響を与えることなく、256ステップから20ステップ(256×256解像度)および1024ステップから48ステップ(512×512解像度)へと生成ステップ数を削減し、以前の並列化自己回帰モデルよりも少なくとも3.4倍低い遅延時間を達成しました。