R-MFDN تعني شبكة الكشف عن التزوير متعددة الوسائط بمساعدة المرجع، وهي طريقة الكشف عن التزوير متعددة الوسائط التي اقترحها في عام 2024 فريق من جامعة فودان وشركة China Electronics Jinxin ومركز شنغهاي للابتكار التعاوني للحوسبة البصرية الذكية. يستغل هذا النهج معلومات الهوية الغنية لاستخراج التناقضات بين الوسائط للكشف عن التزوير. يتكون R-MFDN من ثلاثة أجزاء رئيسية: وحدة استخراج الميزات متعددة الوسائط، ووحدة دمج معلومات الميزات، ووحدة تحديد التزوير. يقوم باستخراج ودمج الميزات عن طريق الجمع بين ترميز الفيديو وترميز الصوت ونموذج المحول الزمني لإجراء التعرف على التزوير.

إن ابتكار هذه الطريقة هو أنها لا تركز فقط على اكتشاف التزوير في نمط واحد، بل تعمل أيضًا على تعزيز حساسية النموذج للمحتوى المزور من خلال دالة فقدان التعلم التبايني عبر الأنماط ودالة فقدان التعلم التبايني التي تعتمد على الهوية. تُظهر هذه الطريقة قدرات قوية في تحديد الهوية في سيناريوهات التزوير العميق المتعددة الوسائط، وخاصة في سيناريوهات تزوير الهوية مثل تغيير الوجه باستخدام الذكاء الاصطناعي والتعليق الصوتي.

أوراق ذات صلةالكشف عن تزوير الوسائط المتعددة القائم على الهوية من خلال المساعدة المرجعيةتم قبولها من قِبل مؤتمر ACM MultiMedia 2024، وهو المؤتمر الدولي الأبرز في مجال الوسائط المتعددة، وتم تقديم تقرير شفوي في المؤتمر. كما بنت الدراسة مجموعة بيانات IDForge عالية الجودة لتغيير الوجوه والأصوات باستخدام الذكاء الاصطناعي، والتي يمكن استخدامها لـيتقدماحصل على البيانات.