1. チュートリアルの概要

YOLOEは、清華大学の研究チームが2025年に提案した新しいリアルタイム視覚モデルであり、「すべてをリアルタイムで見る」という目標の達成を目指しています。 YOLO シリーズのモデルのリアルタイム性と効率性を継承し、これに基づいてゼロショット学習とマルチモーダルプロンプト機能を深く統合し、テキスト、ビジョン、サイレントプロンプトなどの複数のシナリオでターゲットの検出とセグメンテーションをサポートできます。関連する論文の結果はYOLOE: リアルタイムで何でも見る”。

コア機能

任意のテキストタイプ
マルチモーダルプロンプト:
- 視覚的な手がかり（ボックス/ドット/手描きの図形/参照画像）
完全自動サイレント検出 – シーンオブジェクトを自動的に識別

デモ環境: YOLOv8e/YOLOv11e シリーズ + RTX4090

2. 操作手順

1. コンテナを起動した後、API アドレスをクリックして Web インターフェイスに入ります

「Bad Gateway」と表示される場合は、モデルが初期化中であることを意味します。 1～2分ほど待ってからページを更新してください。

2. YOLOE機能のデモンストレーション

1. テキストプロンプト検出

任意のテキストタイプ
カスタムプロンプトワード: ユーザーが任意のテキストを入力できるようにします（認識結果は意味の複雑さに応じて異なる場合があります）

2. マルチモーダルな視覚的手がかり

🟦 ボックス選択検出 (bボックス)
bboxes: たとえば、多数の人物が写っている画像をアップロードし、画像内の人物を検出したい場合、bboxes を使用して 1 人の人物をフレームに収めることができます。推論中、モデルは bbox の内容に基づいて画像内のすべての人物を識別します。
より正確な視覚的な手がかりを得るために、複数の bbox を描画できます。
✏️ クリック/描画領域 （マスク）
マスク: たとえば、多数の人物が写っている画像をアップロードし、画像内の人物を検出したい場合は、マスクを使用して 1 人の人物を隠すことができます。推論中、モデルはマスクの内容に基づいて画像内のすべての人物を認識します。
より正確な視覚的な手がかりを得るために、複数のマスクを描画することができます。
🖼️ 参考画像の比較 (イントラ/クロス)
イントラ: 現在の画像に対して bbox またはマスクを操作し、現在の画像に対して推論を実行します。
Cross: 現在の画像で bbox またはマスクを操作し、他の画像を推測します。

コアコンセプト

モデル	機能説明	アプリケーションシナリオ
画像内	単一グラフ内でのオブジェクトの関係のモデリング	ローカルターゲットの正確な位置決め
クロスイメージ	画像間の特徴マッチング	類似オブジェクトの検索