MolCA: 분자 그래프-언어 모델링을 위한 크로스-모달 프로젝터와 유니-모달 어댑터

언어 모델(LMs)은 다양한 1D 텍스트 관련 작업에서 인상적인 분자 이해 능력을 보여주었습니다. 그러나, 이들은 인간 전문가들이 분자의 위상 구조를 이해하는 데 중요한 2D 그래프 인식 능력이 본질적으로 부족합니다. 이러한 격차를 메우기 위해, 우리는 MolCA: 크로스-모달 프로젝터와 유니-모달 어댑터를 사용한 분자 그래프-언어 모델링을 제안합니다. MolCA는 크로스-모달 프로젝터를 통해 언어 모델(예: Galactica)이 텍스트 기반 및 그래프 기반의 분자 내용을 모두 이해할 수 있도록 합니다. 특히, 크로스-모달 프로젝터는 그래프 인코더의 표현 공간과 언어 모델의 텍스트 공간을 연결하기 위해 Q-Former로 구현됩니다. 또한, MolCA는 언어 모델이 하위 작업에 효율적으로 적응할 수 있도록 유니-모달 어댑터(즉, LoRA)를 사용합니다. 이전 연구들이 크로스-모달 대조 학습을 통해 언어 모델과 그래프 인코더를 결합한 것과 달리, MolCA는 언어 모델의 개방형 텍스트 생성 능력을 유지하면서 2D 그래프 정보를 강화합니다. 그 효과성을 입증하기 위해, 우리는 분자 캡셔닝, IUPAC 이름 예측, 그리고 분자-텍스트 검색 작업에서 MolCA를 광범위하게 벤치마킹했습니다. 이 작업들에서 MolCA는 기준선 모델들을 크게 초월하는 성능을 보였습니다. 우리의 코드와 체크포인트는 https://github.com/acharkq/MolCA에서 확인할 수 있습니다.