A-Lamp: شبكة عصبية عميقة متعددة الأجزاء مع وعي تكيفي بالتصميم لتقدير جمال الصور

أظهرت الشبكات العصبية التلافيفية العميقة (CNN) مؤخرًا أنها تولد نتائج واعدة في تقييم الجماليات. ومع ذلك، غالبًا ما يتأثر أداء هذه الطرق العميقة للشبكات العصبية التلافيفية بقيد أن الشبكة العصبية تقبل المدخلات ذات الحجم الثابت فقط. لاستيعاب هذا القيد، يجب تحويل الصور المدخلة من خلال القص أو التشويه أو الإضافة، مما يؤدي غالبًا إلى تغيير تركيب الصورة، أو خفض دقتها، أو حدوث تشوه فيها. وهكذا يتم الإضرار بجمالية الصور الأصلية بسبب فقدان المحتمل للتفاصيل الدقيقة والتكوين الكلي للصورة. ومع ذلك، فإن هذه التفاصيل الدقيقة والتكوين الكلي للصورة ضرورية لتقييم جمالية الصورة. في هذا البحث، نقدم معمارية شبكة عصبية تلافيفية متعددة القطع مع الوعي بالتكوين القابل للتكييف (A-Lamp CNN) لتقييم جمالية الصور الفوتوغرافية. يمكن لهذه المخطط الجديد قبول صور ذات أحجام تعسفية، وتعلم من التفاصيل الدقيقة والتكوين الكلي للصورة في آن واحد. لتمكين التدريب على هذه المدخلات الهجينة، نوسع الطريقة من خلال تطوير بنية شبكة عصبية فرعية مخصصة تتكون من شبكتين فرعيتين: شبكة متعددة القطع (Multi-Patch subnet) وشبكة واعية بالتكوين (Layout-Aware subnet). نقوم أيضًا ببناء طبقة تجميع لدمج الخواص الهجينة من هاتين الشبكتين الفرعيتين بشكل فعال. أثبتت التجارب الواسعة على معيار الجماليات الكبير الحجم (AVA) أن هناك تحسينًا كبيرًا في الأداء مقارنة بأحدث التقنيات في تقييم جمالية الصور الفوتوغرافية.