يمكن لنموذج واحد من نماذج Transformer فهم البيانات الجزيئية ثنائية وثلاثية الأبعاد

على عكس بيانات الرؤية واللغة التي تمتلك عادةً تنسيقًا فريدًا، يمكن وصف الجزيئات بطبيعتها باستخدام صيغ كيميائية مختلفة. يمكن اعتبار الجزيء كرسم بياني ثنائي الأبعاد، أو تعريفه كمجموعة من الذرات الموضعة في فضاء ثلاثي الأبعاد. وفيما يتعلق بتعلم تمثيل الجزيئات، صممت معظم الدراسات السابقة شبكات عصبية لتنسيق بيانات معين فقط، مما يجعل النماذج المُتعلمة عرضة للفشل عند استخدامها مع تنسيقات بيانات أخرى. نحن نعتقد أن النموذج الشبكي العصبي العام للكيمياء يجب أن يكون قادرًا على التعامل مع مهام الجزيئات عبر مختلف صيغ البيانات. لتحقيق هذا الهدف، قمنا في هذا العمل بتطوير نموذج جزيئي جديد يعتمد على معمارية Transformer يُسمى Transformer-M، والذي يمكنه استقبال بيانات جزيئية بتنسيق ثنائي أو ثلاثي الأبعاد وإنتاج تمثيلات معنوية ذات معنى. وباستخدام معمارية Transformer القياسية كهيكل أساسي، يطور Transformer-M قناتين منفصلتين لتمثيل المعلومات الهيكلية ثنائية وثلاثية الأبعاد، ويُدمجها مع ميزات الذرات داخل وحدات الشبكة. عند تزويد النموذج ببيانات بتنسيق معين، يتم تفعيل القناة المقابلة، بينما تُعطّل القناة الأخرى. وبتدريب النموذج على بيانات جزيئية ثنائية وثلاثية الأبعاد باستخدام إشارات مراقبة مناسبة، يتعلم Transformer-M تلقائيًا الاستفادة من المعرفة المتوفرة في مختلف صيغ البيانات ويلتقط التمثيلات بشكل دقيق. أجرينا تجارب واسعة على Transformer-M، وتبين من جميع النتائج التجريبية أن النموذج يتمتع بأداء قوي في نفس الوقت على المهام الثنائية والثلاثية الأبعاد، مما يدل على تطبيقاته الواسعة. سيتم إتاحة الكود والنماذج للجمهور عبر الرابط: https://github.com/lsj2408/Transformer-M.