Kang Liao Size Wu Zhonghua Wu Linyi Jin Chao Wang Yikai Wang Fei Wang Wei Li Chen Change Loy

Résumé

La compréhension et la génération centrées sur la caméra constituent deux piliers fondamentaux de l’intelligence spatiale, mais elles sont généralement étudiées de manière isolée. Nous présentons Puffin, un modèle multimodal unifié centré sur la caméra, qui étend la conscience spatiale selon la dimension caméra. Puffin intègre la régression linguistique et la génération basée sur la diffusion pour interpréter et créer des scènes depuis des points de vue arbitraires. Pour combler l’écart entre les modalités caméra et vision-langage, nous introduisons un nouveau paradigme qui traite la caméra comme un langage, permettant ainsi de raisonner « avec » la caméra. Ce cadre guide le modèle à aligner les indices visuels ancrés dans l’espace avec la terminologie photographique tout en raisonnant dans un contexte géométrique. Puffin est entraîné sur Puffin-4M, un grand jeu de données comprenant 4 millions de triplets vision-langage-caméra. Nous intégrons à la fois les paramètres globaux de la caméra et des cartes pixel-par-pixel de la caméra, offrant ainsi une génération spatiale flexible et fiable. Les expériences montrent que Puffin surpasser les modèles spécialisés pour la génération et la compréhension centrées sur la caméra. Grâce à un ajustement par instruction, Puffin se généralise à diverses tâches inter-vues, telles que l’imagination spatiale, l’exploration du monde et l’orientation photographique. Nous mettrons à disposition le code, les modèles, le pipeline de traitement du jeu de données et le benchmark afin de stimuler la recherche en intelligence spatiale multimodale.