LMMs의 서막: GPT-4V(ision)을 활용한 초기 탐구

대형 다중모드 모델(Large Multimodal Models, LMMs)은 시각 이해와 같은 다중 감각 기능을 포함하여 대형 언어 모델(Large Language Models, LLMs)을 확장하여 더 강력한 일반 지능을 달성합니다. 본 논문에서는 최신 모델인 GPT-4V(ision)을 분석하여 LMMs에 대한 이해를 깊이 있게 하기 위해 노력합니다. 이 분석은 GPT-4V가 수행할 수 있는 흥미로운 작업들에 초점을 맞추며, GPT-4V의 능력을 평가하기 위한 테스트 샘플, 지원되는 입력 및 작동 모드, 그리고 모델을 유도하는 효과적인 방법들을 포함합니다.우리의 GPT-4V 탐색 방식은 다양한 영역과 작업을 아우르는 신경하게 설계된 정성적 샘플들의 컬렉션을 구성하고 조직화하는 데 중점을 두고 있습니다. 이러한 샘플들에서 얻은 관찰 결과는 GPT-4V가 임의로 혼합된 다중모드 입력을 처리하는 독보적인 능력과 그 능력의 일반성이 결합되어 GPT-4V를 강력한 다중모드 전문가 시스템으로 만든다는 것을 입증합니다. 또한, GPT-4V는 입력 이미지 위에 그려진 시각적 마커를 이해하는 독특한 능력을 가지고 있어, 시각 참조 프롬프팅과 같은 새로운 인간-컴퓨터 상호작용 방법론을 가능하게 합니다.본 보고서는 GPT-4V 기반 시스템의 새로운 응용 사례와 미래 연구 방향에 대한 심층 논의로 마무리됩니다. 우리는 이번 초기 탐험이 다음 세대 다중모드 작업 구성을 위한 미래 연구, 실제 문제 해결을 위해 LMMs를 활용하고 개선하는 새로운 방법, 그리고 다중모드 기초 모델에 대한 더 나은 이해를 촉진하기를 바랍니다. 마지막으로, 우리가 연구한 모델은 오직 OpenAI의 혁신적인 작업의 산물이며, 그 개발에 대해 완전히 인정받아야 함을 밝힙니다. 저자권 및 공헌 귀속에 관한 자세한 내용은 GPT-4V 공헌 논문에서 확인하실 수 있습니다: https://cdn.openai.com/contributions/gpt-4v.pdf