HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

Réseau à double attention consciente du mouvement pour le flou dynamique dans les scènes

{Mehmet Yamac Dan Yang}

Réseau à double attention consciente du mouvement pour le flou dynamique dans les scènes

Résumé

Le déflouage du mouvement dans des scènes dynamiques constitue une tâche difficile lorsque le flou est dû à une ou plusieurs causes telles que le mouvement des objets, les déplacements de la caméra, etc. Étant donné que les caméras à événements peuvent détecter les variations d’intensité avec une faible latence, les informations nécessaires sur le mouvement sont intrinsèquement capturées dans les données d’événements, ce qui peut s’avérer très utile pour le déflouage des images provenant de caméras standards. L’intensité de la dégradation n’est pas homogène à travers une image, en raison de facteurs tels que la profondeur des objets, leur vitesse, etc. Nous proposons une architecture à deux branches, nommée Réseau à Double Attention Sensible au Mouvement (MADANet), qui accorde une attention particulière aux régions présentant un fort flou. Dans le cadre du réseau, les données d’événements sont d’abord utilisées par un module de segmentation des régions à fort flou, qui génère un score probabiliste pour les zones présentant un mouvement relatif élevé par rapport à la caméra. Ensuite, les données d’événements sont également injectées dans les cartes de caractéristiques du corps principal du réseau, où un mécanisme d’attention secondaire est disponible pour chaque branche. L’utilisation efficace des données d’événements combinée aux deux niveaux de mécanismes d’attention rend le réseau particulièrement compact. Lors des expérimentations, il a été démontré que le réseau proposé atteint des performances de pointe non seulement sur le jeu de données de référence issu de GoPro, mais également sur deux nouveaux jeux de données collectés, dont l’un contient effectivement des données d’événements réels.

Benchmarks

BenchmarkMéthodologieMétriques
deblurring-on-goproMADANet
PSNR: 33.84
SSIM: 0.964
image-deblurring-on-goproMADANet
PSNR: 33.84
Params (M): 16.9
SSIM: 0.964

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp