本稿では、変分的手法により教師なしで学習可能なランダムな潜在変数を条件として用いることで、デコーダ型Transformerの生成プロセスを拡張する手法を提案する。実験的評価の結果、このような条件付き生成が、下流タスクにおいて顕著な性能向上をもたらすことが示された。