التركيب الدلالي للصورة باستخدام التطبيع المكيفatialmente

نقترح التطبيع المكاني التكيفي، وهو طبقة بسيطة ولكنها فعالة لتكوين صور ذات مظهر حقيقي بدقة عالية بناءً على تخطيط دلالي مدخل. الطرق السابقة تقوم بتغذية التخطيط الدلالي مباشرة كمدخل للشبكة العميقة، والتي يتم معالجتها من خلال مكدسات من طبقات التفتيش (convolution)، التطبيع، واللاخطية. نوضح أن هذا الأسلوب غير مثالي حيث أن طبقات التطبيع تميل إلى "مسح" المعلومات الدلالية. لحل هذه المشكلة، نقترح استخدام التخطيط المدخل في تعديل النشاطات في طبقات التطبيع من خلال تحويل مكاني تكيفي ومتعلم. التجارب على عدة قواعد بيانات صعبة أثبتت أفضلية الطريقة المقترحة على الأساليب الموجودة فيما يتعلق بالدقة البصرية وتوافقها مع التخطيطات المدخلة. وأخيرًا، يسمح نموذجنا للمستخدم بالتحكم في كلٍ من المعنى والأسلوب. الرمز البرمجي متاح على https://github.com/NVlabs/SPADE .