極性サンプリング：特異値を用いた事前学習済み生成ネットワークの品質および多様性制御

本稿では、事前学習済みの深層生成ネットワーク（DGNs）の生成品質および多様性を制御する理論的に正当化されたプラグアンドプレイ手法である「ポラリティサンプリング（Polarity Sampling）」を提案する。DGNが連続的な区分的アフィンスプライン（piecewise affine splines）として表現可能であるという事実に着目し、DGNの出力空間分布を、DGNのヤコビアン特異値の積をパラメータ $ρ$ 乗した関数として解析的に導出する。この $ρ$ をポラリティパラメータと呼ぶ。我々は、$ρ < 0$ の場合にDGNのサンプリングが出力空間分布のモード（modes）に集中し、$ρ > 0$ の場合にアンチモード（anti-modes）に集中することを理論的に証明する。実験において、トランケーション（truncation）などの従来手法と比較して、非ゼロのポラリティ値が、多数の最先端DGNにおいて品質-多様性のパレート最適境界（precision-recall Pareto frontier）をより良好に達成することを示した。さらに、StyleGAN3、BigGAN-deep、NVAEなど、多数の最先端DGNについて、さまざまな条件付きおよび非条件付き画像生成タスクにおいて、全体的な生成品質の向上（Frechet Inception Distance：FID指標に基づく）を定量的・定性的に確認した。特に、ポラリティサンプリングにより、FFHQデータセットにおけるStyleGAN2のFIDは2.57、LSUN CarデータセットにおけるStyleGAN2のFIDは2.27、AFHQv2データセットにおけるStyleGAN3のFIDは3.95という、それぞれのタスクにおける最新の記録を更新した。デモ：bit.ly/polarity-samp