HyperAI

オンラインチュートリアル | SAM 3 は、2 倍のパフォーマンス向上によりヒント付きコンセプトセグメンテーションを実現し、100 個の検出オブジェクトを 30 ミリ秒で処理します

23日前

情報

h.li

視覚シーン内の任意のオブジェクトを識別・セグメント化する能力は、マルチモーダル人工知能（AI）の重要な基盤であり、ロボット工学、コンテンツ制作、拡張現実（AR）、データアノテーションなど幅広い分野で応用されています。SAM（Segment Anything Model）は、Metaが2023年4月にリリースした汎用AIモデルであり、画像や動画を対象としたキュー対応のセグメンテーションタスクを提案しています。主に、ポイント、バウンディングボックス、マスクなどのキューに基づいて個々のターゲットをセグメント化することをサポートします。

SAMとSAM2モデルは画像セグメンテーションにおいて大きな進歩を遂げましたが、入力コンテンツ内の概念のインスタンスをすべて自動的に検出してセグメンテーションする能力はまだ実現していません。このギャップを埋めるために、Meta は最新版である SAM 3 をリリースしました。これは、キュー可能な視覚セグメンテーション (PVS) において前バージョンのパフォーマンスを大幅に上回るだけでなく、キュー可能な概念セグメンテーション (PCS) タスクの新しい標準も設定します。

SAM 3 は、クリック可能なキューの視覚的セグメンテーションにおいて SAM 2 を上回り (左の画像)、新しいキュー可能なコンセプトのセグメンテーション機能を導入しています (右の画像)。

SAM 3 アーキテクチャには検出器とトラッカーが含まれており、どちらも同じビジュアルエンコーダを共有します。この検出器はDETRフレームワーク上に構築されており、条件付き入力としてテキスト、幾何学情報、またはサンプル画像を受け取ることができます。オープン語彙の概念検出の課題に対処するため、研究者らは認識プロセスと位置推定プロセスを分離する独立した「プレゼンスヘッド」を導入しました。

トラッカーはSAM 2のTransformerエンコーダ/デコーダアーキテクチャを採用し、ビデオセグメンテーションとインタラクティブな最適化をサポートしています。検出と追跡を分離するこの設計により、2つのタスク間の競合を効果的に回避できます。検出はIDの独立性を維持する必要があり、トラッカーの主要目的はビデオ内の異なるオブジェクトの識別とIDの維持です。

SAM 3 は、SA-Co ベンチマークの画像およびビデオ PCS タスクで最先端 (SOTA) の結果を達成し、パフォーマンスは前世代機の 2 倍になりました。さらに、新バージョンでは、H200 GPU 上で、100 個を超える検出オブジェクトを含む単一の画像をわずか 30 ミリ秒で処理できます。このモデルは 3D 再構築の分野にも拡張でき、家の装飾のプレビュー、クリエイティブなビデオ編集、科学研究などのアプリケーションを支援し、コンピュータービジョンの将来の発展に強力な推進力を提供します。

「SAM3：ビジュアルセグメンテーションモデル」がHyperAIウェブサイト（hyper.ai）のチュートリアルセクションで公開されました。さあ、クリエイティブな旅を始めましょう！

チュートリアルのリンク:

https://go.hyper.ai/AbyCq

論文を見る:

https://hyper.ai/papers/2511.16719

デモの実行

1. hyper.aiのホームページにアクセス後、「SAM3: Visual Segmentation Model」を選択するか、「チュートリアル」ページから選択し、「このチュートリアルをオンラインで実行」をクリックします。