Chemformer: 계산 화학을 위한 사전 훈련된 트랜스포머

최근 Transformer 기반 모델과 간단한 분자 선형 입력 시스템(SMILES)의 조합이 화학 정보학(cheminformatics) 분야의 도전 과제 해결에 매우 효과적인 것으로 입증되었다. 그러나 이러한 모델들은 일반적으로 특정 응용 분야에 맞춰 개발되며, 훈련 과정에서 매우 높은 자원 소모가 발생한다. 본 연구에서는 시퀀스-투-시퀀스 및 판별형 화학 정보학 작업에 빠르게 적용 가능한 Transformer 기반의 Chemformer 모델을 제안한다. 또한, 자기지도 학습(self-supervised pre-training)이 하류 작업에서 성능을 향상시키고 수렴 속도를 크게 개선할 수 있음을 보여준다. 직접 합성 및 역합성 예측 평가 데이터셋에서 최상의 정확도(top-1 accuracy) 기록을 달성하며, 기존 방법에 비해 분자 최적화 작업에서도 성능을 개선하였다. 더불어 Chemformer이 동시에 여러 판별형 작업을 최적화할 수 있음을 입증하였다. 본 연구의 모델, 데이터셋 및 코드는 발표 후 공개될 예정이다.