LILE : Examiner en Profondeur avant de Chercher Ailleurs -- Un Réseau d'Attention Dual Utilisant des Transformers pour la Recherche d'Information Multimodale dans les Archives d'Histopathologie

Le volume de données disponibles a connu une croissance spectaculaire ces dernières années dans de nombreuses applications. De plus, l'ère des réseaux utilisant séparément plusieurs modalités est pratiquement terminée. Par conséquent, la mise en œuvre d'un système de recherche de données bidirectionnel et intermodal capable de traitement est devenue une exigence pour de nombreux domaines et disciplines de recherche. Cela est particulièrement vrai dans le domaine médical, où les données sont présentées sous divers formats, y compris différents types d'images et de rapports, ainsi que des données moléculaires. La plupart des travaux contemporains appliquent l'attention croisée pour mettre en évidence les éléments essentiels d'une image ou d'un texte par rapport aux autres modalités et tentent de les faire correspondre ensemble. Cependant, indépendamment de leur importance dans leur propre modalité, ces approches considèrent généralement les caractéristiques de chaque modalité comme égales. Dans cette étude, l'auto-attention sera proposée comme un terme de perte supplémentaire pour enrichir la représentation interne fournie au module d'attention croisée. Ce travail suggère une nouvelle architecture avec un terme de perte innovant pour aider à représenter les images et les textes dans l'espace latent conjoint. Les résultats expérimentaux sur deux jeux de données de référence, à savoir MS-COCO et ARCH, montrent l'efficacité de la méthode proposée.