HyperAIHyperAI
il y a 2 mois

MODNet : Matting de portraits en temps réel sans trimap grâce à la décomposition objective

Zhanghan Ke; Jiayu Sun; Kaican Li; Qiong Yan; Rynson W.H. Lau
MODNet : Matting de portraits en temps réel sans trimap grâce à la décomposition objective
Résumé

Les méthodes de matting existantes pour les portraits nécessitent soit des entrées auxiliaires coûteuses à obtenir, soit impliquent plusieurs étapes qui sont gourmandes en ressources informatiques, ce qui les rend moins adaptées aux applications en temps réel. Dans cette étude, nous présentons un réseau de décomposition d'objectifs léger (MODNet) pour le matting de portraits en temps réel avec une seule image en entrée. L'idée clé de notre conception efficace est d'optimiser simultanément une série de sous-objectifs grâce à des contraintes explicites. De plus, MODNet intègre deux techniques novatrices visant à améliorer l'efficacité et la robustesse du modèle. Premièrement, un module d'Atrous Spatial Pyramid Pooling (ASPP) efficace (e-ASPP) est introduit pour fusionner des caractéristiques multi-échelles pour l'estimation sémantique. Deuxièmement, une stratégie de cohérence des sous-objectifs auto-supervisée (SOC) est proposée pour adapter MODNet aux données du monde réel afin de résoudre le problème de décalage de domaine courant dans les méthodes sans trimap. MODNet peut être facilement entraîné de manière end-to-end. Il est beaucoup plus rapide que les méthodes contemporaines et fonctionne à 67 images par seconde sur une carte graphique GPU 1080Ti. Les expériences montrent que MODNet surpasse largement les méthodes précédentes sans trimap, tant sur le jeu de données Adobe Matting que sur un benchmark soigneusement conçu pour le matting photographique de portraits (PPM-100) que nous avons proposé. En outre, MODNet obtient des résultats remarquables sur les photos et vidéos quotidiennes. Notre code et nos modèles sont disponibles à l'adresse https://github.com/ZHKKKe/MODNet, et le benchmark PPM-100 est publié à l'adresse https://github.com/ZHKKKe/PPM.