FreeSeg: 統一的、普遍的なオープンボキャブラリ画像セグメンテーション

最近、オープンボキャブラリ学習が、任意のカテゴリのテキストベースの説明に対するセグメンテーションを達成するために現れ、これによりセグメンテーションシステムがより汎用的なアプリケーションシナリオに普及しました。しかし、既存の手法は特定のセグメンテーションタスクのために専門的なアーキテクチャやパラメータを設計することに注力しています。これらのカスタマイズされた設計パラダイムは、様々なセグメンテーションタスク間での断片化を引き起こし、セグメンテーションモデルの一貫性を阻害しています。したがって、本論文ではFreeSeg（フリーセグ）と呼ばれる一般的なフレームワークを提案します。このフレームワークは統一的で普遍的なオープンボキャブラリ画像セグメンテーションを実現するためのものです。FreeSegはワンショットトレーニングによって全体最適化され、推論プロセスにおいて同じアーキテクチャとパラメータを使用して多様なセグメンテーションタスクをシームレスに処理します。さらに、適応的なプロンプト学習は統一モデルがタスク認識およびカテゴリ感応的な概念を捉えることを可能にし、マルチタスクや変動のあるシナリオにおけるモデルの堅牢性を向上させます。広範な実験結果から、FreeSegは3つのセグメンテーションタスクにおいて性能と汎化能力で新しい最先端の結果を樹立しており、COCOデータセットにおいて未見クラスに対して語義分割で5.5% mIoU（平均交差比）、インスタンス分割で17.6% mAP（平均精度率）、全景分割で20.1% PQ（パンオプティック品質指標）という大幅な改善を示していることが確認されました。