تعلم ذاكرة ديناميكية واعية بالجودة لفصل الأشياء في الفيديو

في الآونة الأخيرة، أثبتت عدة طرق تعتمد على الذاكرة المكانية-الزمانية أن تخزين الإطارات الوسيطة وأقنعتها كذاكرة مفيدة لتقسيم الأشياء المستهدفة في مقاطع الفيديو. ومع ذلك، فإن هذه الطرق تركز بشكل أساسي على تحسين التوافق بين الإطار الحالي وإطارات الذاكرة دون التركيز صراحة على جودة الذاكرة. ولذلك، تكون الإطارات ذات الأقنعة المقطعة بشكل سيء عرضة للتخزين، مما يؤدي إلى مشكلة تراكم أخطاء الأقنعة المقطعية ويؤثر بدوره على أداء التقسيم. بالإضافة إلى ذلك، يحد زيادة عدد إطارات الذاكرة بشكل خطي مع زيادة عدد الإطارات من قدرة النماذج على التعامل مع مقاطع الفيديو الطويلة. بهدف حل هذه المشكلات، نقترح شبكة ذاكرة ديناميكية واعية بالجودة (Quality-aware Dynamic Memory Network - QDMN) لتقييم جودة التقسيم لكل إطار، مما يسمح لمصرف الذاكرة بتخزين الإطارات المقطعة بدقة انتقائية لمنع مشكلة تراكم الأخطاء. بعد ذلك، نجمع بين جودة التقسيم والثبات الزماني لتحديث مصرف الذاكرة ديناميكياً وتحسين عملية التطبيق للنماذج. بدون أي تعقيدات إضافية، حققت شبكتنا QDMN أداءً جديدًا رائدًا في كل من مقاييس DAVIS و YouTube-VOS. علاوة على ذلك، تثبت التجارب الواسعة أن وحدة تقييم الجودة المقترحة (Quality Assessment Module - QAM) يمكن استخدامها كملحقات عامة في الطرق المعتمدة على الذاكرة وتحسن الأداء بشكل كبير. شفرتنا المصدر متاحة على الرابط https://github.com/workforai/QDMN.