Chaitanya K. Joshi Xiang Fu Yi-Lun Liao Vahe Gharakhanyan Benjamin Kurt Miller Anuroop Sriram Zachary Ward Ulissi

الملخص

النماذج التفاضلية هي الأداة القياسية لنمذجة توليد الأنظمة الذرية ثلاثية الأبعاد. ومع ذلك، بالنسبة لأنواع مختلفة من الأنظمة الذرية - مثل الجزيئات والمواد - تكون عمليات التوليد عادةً محددة للغاية للنظام المستهدف رغم أن الفيزياء الأساسية هي نفسها. نقدم هنا المُحَوِّل التفاضلي الشامل للذرات (All-atom Diffusion Transformer - ADiT)، وهو إطار تفاضلي موحد لتوليد المواد الدورية والأنظمة الجزيئية غير الدورية باستخدام نفس النموذج: (1) يقوم مُكَوِّد ذاتي بتحويل تمثيلات شاملة للجزيئات والمواد إلى فضاء تمثيلي خفي مشترك؛ و(2) يتم تدريب نموذج تفاضلي على إنشاء تمثيلات خفية جديدة يمكن للمُكَوِّد الذاتي فك شفرتها لإنتاج جزيئات أو مواد جديدة. أظهرت التجارب على مجموعات البيانات MP20 وQM9 وGEOM-DRUGS أن ADiT الذي تم تدريبه بشكل مشترك يولد جزيئات ومواد واقعية ومقبولة، مما يجعله يحقق نتائج في مستوى الطليعة مماثلة لنماذج الجزيء والمعدن الخاصة. يستخدم ADiT المُحَوِّلات القياسية مع حد أدنى من التحيزات الاستقرائية لكل من المُكَوِّد الذاتي والنموذج التفاضلي، مما يؤدي إلى تسريع كبير في التدريب والاستدلال مقارنة بنماذج التفاضل المتغير. يتوقع توسيع نطاق ADiT ليصل إلى نصف مليار معامل تحسين الأداء، مما يمثل خطوة نحو نماذج أساسية قابلة للتعميم على نطاق واسع في الكيمياء التوليدية. الرمز المصدري المفتوح: https://github.com/facebookresearch/all-atom-diffusion-transformer