نمذجة التفاعلات المتقاطعة الكثيفة بين الوسائط لاستخراج الكيانات والعلاقات المشتركين

يستفيد الاستخراج المشترك للكيانات والعلاقات من التفاعل الوثيق بين الكيانات المميزة ومعلومات العلاقات المرتبطة بها. ولهذا السبب، فإن كيفية نمذجة التفاعلات عبر النماذج (cross-modal) بشكل فعّال تُعد أمرًا حاسمًا لأداء النموذج النهائي. وقد استخدمت الدراسات السابقة أساليب بسيطة مثل دمج السمات والعلامات (label-feature concatenation) لتحقيق تكامل دلالي خشن بين المثيلات عبر النماذج، لكنها فشلت في التقاط الترابطات الدقيقة في فضاءات الرموز (token) والعلامات، مما أدى إلى تفاعلات غير كافية. في هذه الورقة، نقترح شبكة انتباه عميقة عبر النماذج (CMAN) لاستخراج الكيانات والعلاقات المشترك. تم بناء الشبكة بدقة من خلال تجميع وحدات انتباه متعددة بعمق لتمكين نمذجة تفاعلات كثيفة في فضاءات الرموز-العلامات، حيث تم اقتراح وحدتين أساسيتين للانتباه لالتقاط الترابطات الدقيقة صراحةً عبر النماذج المختلفة (مثل رمز-رمز وعلامة-رمز). أظهرت نتائج التجارب على مجموعة بيانات CoNLL04 نتائج متميزة، حيث حقق النموذج 90.62% من دقة F1 في تمييز الكيانات و72.97% من دقة F1 في تصنيف العلاقات. وفي مجموعة بيانات ADE، تفوق النموذج على الأساليب الحالية بمزيد من 1.9% في دقة F1 لتصنيف العلاقات. وتعزز التحليلات الواسعة فعالية النهج المُقترح.