HyperAIHyperAI

Command Palette

Search for a command to run...

MODNet : Matting de portraits en temps réel sans trimap grâce à la décomposition objective

Zhanghan Ke Jiayu Sun Kaican Li Qiong Yan Rynson W.H. Lau

Résumé

Les méthodes de matting existantes pour les portraits nécessitent soit des entrées auxiliaires coûteuses à obtenir, soit impliquent plusieurs étapes qui sont gourmandes en ressources informatiques, ce qui les rend moins adaptées aux applications en temps réel. Dans cette étude, nous présentons un réseau de décomposition d'objectifs léger (MODNet) pour le matting de portraits en temps réel avec une seule image en entrée. L'idée clé de notre conception efficace est d'optimiser simultanément une série de sous-objectifs grâce à des contraintes explicites. De plus, MODNet intègre deux techniques novatrices visant à améliorer l'efficacité et la robustesse du modèle. Premièrement, un module d'Atrous Spatial Pyramid Pooling (ASPP) efficace (e-ASPP) est introduit pour fusionner des caractéristiques multi-échelles pour l'estimation sémantique. Deuxièmement, une stratégie de cohérence des sous-objectifs auto-supervisée (SOC) est proposée pour adapter MODNet aux données du monde réel afin de résoudre le problème de décalage de domaine courant dans les méthodes sans trimap. MODNet peut être facilement entraîné de manière end-to-end. Il est beaucoup plus rapide que les méthodes contemporaines et fonctionne à 67 images par seconde sur une carte graphique GPU 1080Ti. Les expériences montrent que MODNet surpasse largement les méthodes précédentes sans trimap, tant sur le jeu de données Adobe Matting que sur un benchmark soigneusement conçu pour le matting photographique de portraits (PPM-100) que nous avons proposé. En outre, MODNet obtient des résultats remarquables sur les photos et vidéos quotidiennes. Notre code et nos modèles sont disponibles à l'adresse https://github.com/ZHKKKe/MODNet, et le benchmark PPM-100 est publié à l'adresse https://github.com/ZHKKKe/PPM.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp