HyperAIHyperAI
منذ 2 أشهر

GANSeg: التعلم للفصل باستخدام توليد الصور الهرمي غير المشرف

Xingzhe He; Bastian Wandt; Helge Rhodin
GANSeg: التعلم للفصل باستخدام توليد الصور الهرمي غير المشرف
الملخص

تقسيم الصورة إلى أجزائها هو عملية مسبقة متكررة للمهام البصرية ذات المستوى العالي مثل تحرير الصور. ومع ذلك، فإن وضع العلامات على الأقنعة (masks) لتدريب الإشراف يكون مكلفاً. توجد طرق إشراف ضعيف وغير مشرف، ولكنها تعتمد على مقارنة زوجات من الصور، مثل تلك التي يتم التقاطها من زوايا متعددة، أو الإطارات في مقاطع الفيديو، أو زيادة الصور (image augmentation)، مما يحد من قابليتها للتطبيق. لحل هذه المشكلة، نقترح نهجاً يستند إلى شبكات التوليد المتنافسة (GAN) والذي يولد صوراً مشروطة بالأقنعة الكامنة (latent masks)، مما يخفف من الحاجة إلى العلامات الكاملة أو الضعيفة المطلوبة في النهج السابقة. نوضح أن توليد الصور المشروطة بالأقنعة يمكن تعلمه بدقة عندما يتم وضع شروط الأقنعة بطريقة هرمية على نقاط المفتاح الكامنة (latent keypoints) التي تعريف مواقع الأجزاء بشكل صريح. دون الحاجة إلى إشراف على الأقنعة أو النقاط، فإن هذه الاستراتيجية تزيد من الحصانة ضد تغييرات زاوية الرؤية ومواقع الأجسام. كما أنها تتيح لنا توليد أزواج الصورة-القناع لتدريب شبكة التقسيم، والتي تتخطى أفضل الطرق غير المشرفة للتقسيم البصري في المقاييس المعترف بها.