VQA 시각적 질문 답변 데이터 세트

이 데이터 세트는 다음에서 나옵니다. 캄피나스 주립대학교 MO434 과목 지식 기반.

소개

이는 이미지와 이미지에 대한 자연어 질문을 기반으로 답변을 생성하는 간단한 Flask 애플리케이션입니다. 이 앱은 TensorFlow로 학습된 딥 러닝 모델을 사용합니다.

모델 개요

딥러닝의 발전으로 다중 모드 학습 관련 과제의 솔루션이 촉진되었습니다. 시각적 질의응답(VQA)은 이미지에서 높은 수준의 장면 해석과 관련 질의응답 언어의 모델링이 필요한 매우 어려운 예입니다. 이미지와 이미지에 대한 자연어 질문이 주어졌을 때, 정확한 자연어 답변을 제공하는 것이 과제입니다. 이는 Keras를 사용하여 구현된 종단간 시스템으로, 이 작업을 달성하는 것을 목표로 합니다.

논문을 기반으로 한 모델 아키텍처 시각적 질의응답을 위한 계층적 질의-이미지 공동주의 .