Yujia Zhang Xiaoyang Wu Yixing Lao Chengyao Wang Zhuotao Tian Naiyan Wang Hengshuang Zhao

Résumé

Les êtres humains apprennent les concepts abstraits grâce à une synergie multisensorielle, et une fois formés, ces représentations peuvent souvent être rappelés à partir d’un seul mode sensoriel. Inspirés par ce principe, nous introduisons Concerto, une simulation minimaliste de l’apprentissage des concepts humains pour la cognition spatiale, combinant une auto-distillation intra-modale en 3D avec un joint embedding cross-modale 2D-3D. Malgré sa simplicité, Concerto apprend des caractéristiques spatiales plus cohérentes et plus informatives, comme le montre la visualisation en zéro-shot. Il surpasse à la fois les modèles auto-supervisés d’état de l’art (SOTA) en 2D et en 3D indépendants de 14,2 % et 4,8 % respectivement, ainsi que leur concaténation de caractéristiques, dans le cadre d’une enquête linéaire pour la perception de scènes 3D. Avec un fine-tuning complet, Concerto établit de nouveaux records SOTA sur plusieurs benchmarks d’interprétation de scènes (par exemple, 80,7 % de mIoU sur ScanNet). Nous proposons également une variante de Concerto adaptée à la compréhension spatiale des nuages de points en vidéo, ainsi qu’un traducteur qui projette linéairement les représentations de Concerto dans l’espace linguistique de CLIP, permettant ainsi une perception en monde ouvert. Ces résultats mettent en évidence que Concerto émerge des représentations spatiales offrant une cohérence géométrique et sémantique de fine-grain supérieure.