Détecteur d'Objets Unifié pour Différentes Modalités basé sur les Transformers Visuels

Les systèmes traditionnels nécessitent généralement des modèles différents pour traiter diverses modalités, tels qu'un modèle pour les images RGB et un autre pour les images de profondeur. Des recherches récentes ont montré qu'un seul modèle pour une modalité peut être adapté à une autre en utilisant l'apprentissage par transfert inter-modalités. Dans cet article, nous étendons cette approche en combinant l'apprentissage par transfert inter-modalités avec un transformateur visuel pour développer un détecteur unifié qui offre des performances supérieures sur diverses modalités. Notre recherche envisage une application dans le domaine de la robotique, où le système unifié bascule sans heurt entre les caméras RGB et les capteurs de profondeur selon les conditions d'éclairage. Importamment, ce système ne nécessite aucune modification de l'architecture du modèle ou mise à jour des poids pour permettre cette transition fluide. Plus précisément, le système utilise le capteur de profondeur dans des conditions d'éclairage faible (nuit) et tant la caméra RGB que le capteur de profondeur, ou uniquement la caméra RGB, dans des environnements bien éclairés. Nous évaluons notre modèle unifié sur l'ensemble de données SUN RGB-D et démontrons qu'il atteint des performances similaires ou meilleures en termes de mAP50 par rapport aux méthodes les plus avancées dans la catégorie SUNRGBD16, ainsi que des performances comparables en mode nuages de points seulement. Nous introduisons également une nouvelle méthode de mixage inter-modalités qui permet à notre modèle d'obtenir des résultats nettement meilleurs que ceux des méthodes précédentes. Nous mettons à disposition notre code, y compris les journaux d'entraînement/déduction et les points de contrôle du modèle, afin de faciliter la reproductibilité et la poursuite des recherches.\url{https://github.com/liketheflower/UODDM}