Command Palette
Search for a command to run...
Brain-IT : Reconstruction d'images à partir d'IRMf par transformateur d'interaction cérébrale
Roman Beliy Amit Zalcher Jonathan Kogman Navve Wasserman Michal Irani

Résumé
La reconstruction d’images perçues par les individus à partir de leurs enregistrements cérébraux obtenus par IRMf ouvre une fenêtre non invasive sur le cerveau humain. Malgré les progrès récents permis par les modèles de diffusion, les méthodes actuelles peinent souvent à restituer fidèlement les images réellement vues. Nous proposons « Brain-IT », une approche inspirée du cerveau, qui surmonte ce défi grâce à un Transformer d’Interaction Cérébrale (BIT), permettant des interactions efficaces entre des groupes de voxels cérébraux fonctionnellement similaires. Ces groupes fonctionnels, communs à tous les sujets, agissent comme des briques de base pour l’intégration d’informations à l’intérieur d’un cerveau et entre les cerveaux. Tous les composants du modèle sont partagés entre tous les groupes et tous les sujets, ce qui permet un entraînement efficace avec une quantité limitée de données. Pour guider la reconstruction d’image, le BIT prédit deux types complémentaires de caractéristiques d’image localisées à l’échelle de patch : (i) des caractéristiques sémantiques de haut niveau, qui orientent le modèle de diffusion vers le contenu sémantique correct de l’image ; et (ii) des caractéristiques structurelles de bas niveau, qui permettent d’initialiser le processus de diffusion avec une disposition globale correcte de l’image. La conception du BIT permet un flux direct d’information des groupes de voxels cérébraux vers les caractéristiques d’image localisées. Grâce à ces principes, notre méthode parvient à reconstruire des images à partir d’IRMf avec une fidélité remarquable à l’image perçue, dépassant les approches de l’état de l’art (SotA) actuelles, tant sur le plan visuel que selon des métriques objectives standard. En outre, avec seulement une heure d’enregistrement IRMf provenant d’un nouveau sujet, nous obtenons des résultats comparables à ceux des méthodes actuelles entraînées sur des enregistrements complets de 40 heures.
Construire l'IA avec l'IA
De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.