FoodSAM：任意の食品セグメンテーション

本稿では、Segment Anything Model（SAM）のゼロショット能力を食品画像のセグメンテーションに適用する可能性を検討する。SAMが生成するマスクにはクラス固有の情報が欠如しているという課題に対処するため、本研究では新たなフレームワークであるFoodSAMを提案する。この革新的なアプローチは、粗い意味論的マスクとSAMによるマスクを統合することで、意味論的セグメンテーションの品質を向上させる。さらに、食品に含まれる食材は互いに独立した個体とみなせるという洞察に基づき、食品画像におけるインスタンスセグメンテーションの実施を試みた。また、オブジェクト検出器を組み込むことで、FoodSAMはパンオプティックセグメンテーションにもゼロショット能力を拡張し、非食品オブジェクトの情報を効果的に捉えることが可能となった。近年のプロンプト可能セグメンテーションの成功に着想を得て、FoodSAMはさまざまなプロンプトバリエーションをサポートするプロンプト可能セグメンテーションへと拡張された。その結果、FoodSAMは複数の粒度レベルで食品アイテムをセグメンテーション可能な包括的なソリューションとして浮上した。特に注目すべきは、本研究が初めて食品画像においてインスタンスセグメンテーション、パンオプティックセグメンテーション、およびプロンプト可能セグメンテーションを統合的に実現した点である。広範な実験により、FoodSAMの実現可能性と優れた性能が確認され、SAMが食品画像セグメンテーション分野において重要な影響力を持つツールとしての潜在力を裏付けた。本研究のコードは、https://github.com/jamesjg/FoodSAM にて公開している。