CoLA : Conditional Dropout et Détection Robuste d'Objets Saillants Guidée par le Langage

Les informations de profondeur/thermique sont bénéfiques pour la détection d'objets saillants avec des images RGB conventionnelles. Cependant, dans les modèles de détection d'objets saillants bimodaux (SOD), la robustesse face aux entrées bruitées et à l'absence de modalité est cruciale mais rarement étudiée. Pour résoudre ce problème, nous introduisons le cadre \textbf{Co}nditional Dropout et \textbf{LA}nguage-driven (\textbf{CoLA}) composé de deux composantes principales.1) Évaluation de la qualité guidée par le langage (LQA) : En utilisant un modèle pré-entraîné vision-langage avec un apprentissage de prompts, l'LQA réajuste les contributions des images sans nécessiter d'annotations de qualité supplémentaires. Cette approche atténue efficacement l'impact des entrées bruitées.2) Conditional Dropout (CD) : Une méthode d'apprentissage visant à renforcer l'adaptabilité du modèle dans des scénarios où une modalité est absente, tout en préservant ses performances lorsque toutes les modalités sont disponibles. Le CD agit comme un schéma d'entraînement intégrable qui traite l'absence de modalité comme des conditions, renforçant ainsi la robustesse globale de divers modèles SOD bimodaux.Des expériences extensives montrent que la méthode proposée surpasse les modèles SOD bimodaux les plus avancés actuellement disponibles, tant dans les conditions où toutes les modalités sont présentes que dans celles où une modalité est absente. Nous publierons le code source à l'acceptation de cet article.