1. 튜토리얼 소개

YOLOE는 2025년 청화대학교 연구팀이 제안한 새로운 실시간 시각 모델로, "모든 것을 실시간으로 보는 것"이라는 목표를 달성하는 것을 목표로 합니다. YOLO 시리즈 모델의 실시간성과 효율성 특성을 그대로 이어받았으며, 이를 기반으로 제로샷 학습과 멀티모달 프롬프팅 기능을 깊이 통합하여 텍스트, 비전, 무음 프롬프팅 등 다양한 시나리오에서 타겟 탐지 및 세분화를 지원할 수 있습니다. 관련 논문 결과는 다음과 같습니다.YOLOE: 실시간으로 무엇이든 보는 것".

핵심 기능

모든 텍스트 유형
다중 모드 프롬프트:
- 시각적 단서(상자/점/손으로 그린 모양/참조 이미지)
완전 자동 무음 감지 – 장면 객체를 자동으로 식별합니다.

데모 환경: YOLOv8e/YOLOv11e 시리즈 + RTX4090

2. 작업 단계

1. 컨테이너 시작 후 API 주소를 클릭하여 웹 인터페이스로 진입합니다.

"잘못된 게이트웨이"가 표시되면 모델이 초기화 중임을 의미합니다. 약 1~2분 정도 기다려 주신 후 페이지를 새로고침해 주세요.

2. YOLOE 기능 시연

1. 텍스트 프롬프트 감지

모든 텍스트 유형
사용자 정의 프롬프트 단어: 사용자가 임의의 텍스트를 입력할 수 있도록 합니다(인식 결과는 의미적 복잡성에 따라 다를 수 있음)

2. 다중 모달 시각적 단서

🟦 상자 선택 감지 (상자)
bboxes: 예를 들어, 많은 사람이 포함된 이미지를 업로드하고 이미지에서 사람을 감지하려는 경우 bboxes를 사용하여 한 사람을 프레임에 넣을 수 있습니다. 추론하는 동안 모델은 상자의 내용을 기반으로 이미지에 있는 모든 사람을 식별합니다.
더 정확한 시각적 단서를 얻으려면 여러 개의 상자를 그릴 수 있습니다.
✏️ 클릭/그리기 영역 (마스크)
마스크: 예를 들어, 많은 사람이 포함된 이미지를 업로드하고 이미지에서 사람을 감지하려는 경우 마스크를 사용하여 한 사람을 가릴 수 있습니다. 추론하는 동안 모델은 마스크의 내용을 기반으로 이미지에 있는 모든 사람을 인식합니다.
더욱 정확한 시각적 단서를 얻으려면 여러 개의 마스크를 그릴 수 있습니다.
🖼️ 참조 이미지 비교 (내부/교차)
Intra: 현재 이미지에 bbox나 마스크를 적용하고 현재 이미지에 대한 추론을 수행합니다.
크로스: 현재 이미지에 박스나 마스크를 적용하고 다른 이미지에 이를 추론합니다.

핵심 개념

모델	기능 설명	응용 프로그램 시나리오
이미지 내	단일 그래프 내에서 객체 관계 모델링	로컬 타겟 정밀 위치 지정
크로스 이미지	교차 이미지 기능 매칭	유사한 객체 검색