MolCA: نمذجة الرسم البياني الجزيئي-اللغوي باستخدام مُسَجِّل عابر الأوضاع ومُعَدِّل أحادي الوضع

قد أظهرت نماذج اللغات (LMs) قدرة مpressive على فهم الجزيئات في مجموعة متنوعة من المهام النصية ذات البعد الواحد (1D). ومع ذلك، فإنها تعاني بشكل جوهري من عدم القدرة على إدراك الرسوم البيانية ثنائية الأبعاد (2D)، وهي مهارة حاسمة للخبراء البشريين في فهم الهياكل الطوبولوجية للجزيئات. لسد هذه الفجوة، نقترح MolCA: نمذجة الرسوم البيانية واللغة الجزيئية باستخدام المحول متعدد الوسائط والمكيف أحادي الوسائط. يمكّن MolCA نموذج اللغة (مثل Galactica) من فهم المحتوى الجزيئي القائم على النص والرسم البياني عبر المحول متعدد الوسائط. بوجه خاص، يتم تنفيذ المحول متعدد الوسائط كـ Q-Former لربط فضاء تمثيل مشفّر الرسم البياني وفضاء النص لنموذج اللغة. علاوة على ذلك، يستخدم MolCA مكيفًا أحادي الوسائط (أي LoRA) لتحقيق تكييف كفء لنموذج اللغة للمهام اللاحقة. على عكس الدراسات السابقة التي تربط بين نموذج اللغة ومشفّر الرسم البياني من خلال التعلم التضادي متعدد الوسائط، تحتفظ MolCA بقدرة نموذج اللغة على توليد النصوص المفتوحة وتزيد منها بمعلومات الرسم البياني ثنائي الأبعاد. لإظهار فعاليتها، قمنا بتقييم MolCA بشكل شامل في مهام وصف الجزيئات وتوقع اسم IUPAC واسترجاع النصوص والجزيئات، حيث حققت MolCA تفوقًا كبيرًا على النماذج الأساسية. يمكن العثور على رموزنا ونقاط التحقق منا في https://github.com/acharkq/MolCA.