LLaVA-OneVision의 원클릭 배포

튜토리얼 소개

LLaVA-OneVision은 ByteDance, 난양이공대학교, 홍콩중국대학교, 홍콩과학기술대학교의 연구자들이 2024년에 공동으로 개발한 개방형 멀티모달 대규모 모델입니다. 이미지, 텍스트, 이미지-텍스트 혼합 입력 및 비디오를 처리할 수 있습니다. 이 모델은 세 가지 중요한 컴퓨터 비전 시나리오에서 개방형 멀티모달 모델의 성능 병목 현상을 동시에 돌파할 수 있는 최초의 단일 모델입니다.

이 기술은 다양한 모달리티와 장면 간에 강력한 전이 학습 기능을 달성할 뿐만 아니라, 작업 전이를 통해 비디오 이해 및 장면 간 기능 면에서도 상당한 장점을 보여줍니다. LLaVA-OneVision의 특징은 정적 이미지 분석이든 동적 비디오 구문 분석이든 다양한 시각적 작업을 처리할 수 있으며 고품질 출력을 제공할 수 있다는 것입니다. 또한, 이 모델은 최대한 많은 시각적 마커의 일관성에 초점을 맞춰 다양한 시나리오에서 시각적 표현이 균형을 이루도록 설계되었으며, 이를 통해 시나리오 간 기능 전환을 지원합니다.

주요 특징:

• 최대 2304*2304픽셀까지 다양한 입력 해상도를 지원합니다.
• anyres_max_9 모드에서는 단일 이미지 입력을 최대 729*(9+1) 토큰으로 표현할 수 있습니다.
• 다양한 이미지와 비디오 입력을 지원합니다. 여러 이미지 입력은 이미지당 729개 토큰으로 표현되고, 비디오 입력은 프레임당 196개 토큰으로 표현됩니다. 참고: 이 튜토리얼을 시작하려면 단일 카드 A6000이 필요합니다.

실행 방법

1. 克隆并启动容器，待容器状态为「运行中」。由于模型较大，加载模型需要等待约 1 分钟，拷贝 API 地址到浏览器中打开即可

2. 可以看到如下界面

3. 点击下方上传单个/多个图片、文件或视频，并输入文本提示

4. 回车，生成回答

토론 및 교류

🖌️ 如果大家看到优质项目，欢迎后台留言推荐！另外，我们还建立了教程交流群，欢迎小伙伴们扫码备注【SD 教程】入群探讨各类技术问题、分享应用效果↓