OmniCount: 語義・幾何学的プリオールを用いた多ラベル物体カウント

物体のカウントはシーンの構成を理解する上で重要な役割を果たします。従来、このタスクはクラス固有の方法によって主導されていましたが、徐々により適応性の高いクラス非依存戦略へと進化してきました。しかし、これらの戦略には手動での代表例入力や複数のカテゴリーに対する複数回の処理が必要であるなど、独自の制約があり、効率性に大きな課題がありました。本論文では、オープンボキャブラリーフレームワークを使用して複数の物体カテゴリーを同時にカウントできるより実用的なアプローチを提案します。私たちの解決策であるOmniCountは、事前学習済みモデルから得られる意味的および幾何学的な洞察（プリオール）を利用して、ユーザーが指定した複数の物体カテゴリーを追加学習なしでカウントする点で特徴を持っています。OmniCountは、精密な物体マスクを生成し、Segment Anything Modelを通じて多様なインタラクティブプロンプトを利用することで効率的なカウントを実現しています。OmniCountの評価のために、マルチラベル物体カウント（ポイント、バウンディングボックス、VQAアノテーションを含む）を持つ初めてのデータセットであるOmniCount-191ベンチマークを作成しました。OmniCount-191における包括的な評価と他の主要ベンチマークとの比較により、OmniCountが既存のソリューションを大幅に上回る優れた性能を示していることが確認されました。プロジェクトウェブページはhttps://mondalanindya.github.io/OmniCountで利用可能です。