Few-Shot Counting における意味的生成的拡張

パワフルなテキストから画像への拡散モデルの登場により、近年の研究では合成データを用いて画像分類の性能を向上させる手法が探求されている。これらの研究は、実データを効果的に補完するか、場合によっては実データを置き換えることさえ可能であることを示している。本研究では、合成データが少数ショット・クラス無関係な数え上げ（few-shot class-agnostic counting）にどのように寄与するかを検討する。この目的には、入力された物体数に対応する画像を生成する必要がある。しかし、テキストから画像へのモデルは、数（count）という概念を正確に捉えることが困難である。そこで、Stable Diffusionを、プロンプトと密度マップ（density map）の両方で条件付けする手法を提案する。これにより、少数ショット数え上げのための訓練データセットを拡張する。しかし、訓練データセットが極めて小さいため、微調整されたモデルは訓練画像に類似した画像を生成しがちである。これを改善するため、画像間でキャプションを交換することで、物体の種類と空間配置の未確認な組み合わせを生成する多様性の高い合成戦略を提案する。実験の結果、本研究で提案する多様性を重視した生成戦略は、FSC147およびCARPKの二つの最新で高性能な少数ショット数え上げモデルにおいて、計数精度を顕著に向上させることを示した。