制約のないオープンボキャブラリ画像分類：CLIP逆変換を用いたテキストから画像へのゼロショット転移

NOVIC（uNconstrained Open Vocabulary Image Classifier）について紹介します。これは革新的なリアルタイムの画像分類器で、自己回帰トランスフォーマーを使用して、言語として分類ラベルを生成的に出力します。CLIPモデルの広範な知識を活用し、NOVICは埋め込み空間を利用して純粋なテキストから画像へのゼロショット転移を可能にします。従来のCLIPモデルは、オープンボキャブラリ分類が可能な一方で、潜在的なクラスラベルの網羅的なプロンプトが必要であり、これにより既知のコンテンツやコンテクストを持つ画像への応用が制限されていました。これを解決するために、「オブジェクトデコーダ」モデルを提案します。このモデルは、テンプレート化された9200万件の対象データセットとLLM（大規模言語モデル）によって生成されたキャプションに基づいて訓練され、常に問題となるオブジェクト名詞を出力するように設計されています。これにより、CLIPテキストエンコーダが逆転し、実質的に英語全体からテキストでのオブジェクトラベルが直接画像由来の埋め込みベクトルから生成されるようになります。これはあらかじめ画像の潜在的なコンテンツに関する知識を持たなくても、またラベルバイアスなしで実現できます。訓練されたデコーダは手動およびウェブからのキュレーションデータセットと標準的な画像分類ベンチマークでテストされ、最大87.5%という微細なプロンプトフリー予測スコアを達成しました。この結果は、モデルが任意の想像可能な画像に対して機能し、何らかのコンテクスト情報がない状況でも高い性能を発揮することを考えると非常に強固です。