نحو استرجاع نص-جزيء متعدد الوسائط بتوافق أفضل بين الوسائط

نموذج الاسترجاع متعدد الوسائط للنص والجزيء يهدف إلى تعلم فضاء خصائص مشترك بين النصوص والجزيئات لحساب التشابه بدقة، مما يسهل عملية الفحص السريع للجزيئات ذات الخصائص والنشاطات المحددة في تصميم الأدوية. ومع ذلك، فإن الأعمال السابقة تعاني من عيبين رئيسيين. أولاً، هي غير كافية في التقاط الخصائص المشتركة بين الوسائط نظرًا للفرق الكبير بين سلاسل النصوص ورسومات الجزيئات. ثانياً، تعتمد بشكل أساسي على التعلم التضادي (contrastive learning) والتدريب المعادي (adversarial training) لتحقيق التناسق بين الوسائط المختلفة، وكلاهما يركزان بشكل أساسي على التشابه من الدرجة الأولى، متجاهلين التشابه من الدرجة الثانية الذي يمكن أن يلتقط معلومات هيكلية أكثر في فضاء التضمين.لحل هذه المشكلات، نقترح نموذج استرجاع متعدد الوسائط جديد للنص والجزيء مع تحسينات ثنائية. بصفة خاصة، فوق مُشفِّري الوسائط المحددة (modality-specific encoders)، نضيف جهاز إسقاط خصائص يستند إلى بنك ذاكرة يحتوي على متجهات ذاكرة قابلة للتعلم لاستخراج الخصائص المشتركة بين الوسائط بشكل أفضل. وأكثر أهمية من ذلك، خلال تدريب النموذج، نحسب أربع أنواع من توزيعات التشابه (توزيعات التشابه بين النصوص وبين النصوص والجزيئات وبين الجزيئات وبين الجزيئات والنصوص) لكل حالة، ثم نقلل المسافة بين هذه توزيعات التشابه (أي خسائر التشابه من الدرجة الثانية) لتعزيز التناسق متعدد الوسائط.نتائج التجارب والتحليل تؤكد بقوة فعالية نموذجنا. وبشكل خاص، حقق نموذجنا أداءً يتفوق على أفضل النتائج المبلغ عنها سابقًا بنسبة 6.4٪.