CogView2：階層型Transformerを活用した高速かつ高精度なテキストから画像生成

トランスフォーマーに基づくテキストから画像へのモデルの開発は、高解像度画像生成における遅延と構造の複雑さによって阻害されてきた。本研究では、階層的トランスフォーマーと局所並列自己回帰生成を活用した解決策を提案する。我々は、シンプルで柔軟な自己教師付きタスクである「クロスモーダル汎用言語モデル（CogLM）」を用いて、60億パラメータ規模のトランスフォーマーを事前学習し、高速なスーパーレゾリューション用に微調整した。新しく提案するテキストから画像へのシステム、CogView2は、同時期の最先端モデルDALL-E-2と比較しても非常に競争力のある生成性能を示すとともに、画像に対するインタラクティブなテキストガイド付き編集を自然にサポートする。