HyperAIHyperAI

Command Palette

Search for a command to run...

MRL : Apprentissage du mélange avec l'attention et les convolutions

Shlok Mohta Hisahiro Suganuma Yoshiki Tanaka

Résumé

Dans cet article, nous présentons un nouveau bloc architectural neuronal pour le domaine de la vision, nommé Mixing Regionally and Locally (MRL), développé dans le but de mélanger efficacement et efficacement les caractéristiques d'entrée fournies. Nous divisons la tâche de mélange des caractéristiques d'entrée en deux échelles : régionale et locale. Pour réaliser un mélange efficace, nous exploitons le champ récepteur global fourni par l'auto-attention pour le mélange à l'échelle régionale et les noyaux de convolution limités à l'échelle locale pour le mélange à l'échelle locale. Plus précisément, notre méthode proposée mélange les caractéristiques régionales associées aux caractéristiques locales au sein d'une région définie, suivi d'un mélange des caractéristiques locales augmenté par les caractéristiques régionales. Les expériences montrent que cette hybridation de l'auto-attention et de la convolution apporte une meilleure capacité, une généralisation améliorée (biais inductif correct) et une plus grande efficacité. Dans des configurations de réseau similaires, MRL surpasse ou est au niveau de ses homologues dans les tâches de classification, détection d'objets et segmentation. Nous montrons également que notre architecture de réseau basée sur MRL atteint des performances de pointe pour les jeux de données histologiques H&E. Nous avons obtenu des coefficients DICE de 0,843, 0,855 et 0,892 pour les jeux de données Kumar, CoNSep et CPM-17 respectivement, tout en soulignant la polyvalence offerte par le cadre MRL en intégrant des couches telles que les convolutions par groupes pour améliorer la généralisation spécifique aux jeux de données.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
MRL : Apprentissage du mélange avec l'attention et les convolutions | Articles | HyperAI