Yuyang Wang Jiarui Lu Navdeep Jaitly Josh Susskind Miguel Angel Bautista

초록

단백질 접힘 모델은 일반적으로 도메인 지식을 아키텍처 블록과 학습 파이프라인에 통합함으로써 혁신적인 성과를 거두어왔다. 그러나 다양한 관련 문제에서 생성 모델의 성공 사례를 고려할 때, 이러한 아키텍처 설계가 성능 우수한 모델을 구축하기 위해 필수적인 조건인지에 대한 의문은 자연스럽다. 본 논문에서는 단일한 일반 목적형 트랜스포머 블록만을 사용하는 최초의 흐름 매칭 기반 단백질 접힘 모델인 SimpleFold를 제안한다. 기존의 단백질 접힘 모델은 삼각형 업데이트를 포함하는 계산적으로 비용이 큰 모듈, 명시적 쌍 표현 방식, 또는 이 특정 도메인에 맞춰 정교하게 설계된 다중 학습 목표를 사용하는 경우가 많다. 반면 SimpleFold는 적응형 레이어를 갖춘 표준 트랜스포머 블록을 사용하며, 추가적인 구조적 항목을 포함한 생성형 흐름 매칭 목적함수를 통해 학습한다. 우리는 SimpleFold를 30억 파라미터 규모로 확장하고, 약 900만 개의 정제된 단백질 구조 데이터와 실험적 PDB 데이터를 기반으로 학습시켰다. 표준 접힘 벤치마크에서 SimpleFold-3B는 최첨단 기준 모델들과 비교해 경쟁력 있는 성능을 보였으며, 특히 결정론적 재구성 목표로 학습된 모델에서 흔히 어려운 앙상블 예측에서도 뛰어난 성능을 나타냈다. 일반 목적형 아키텍처를 채택함에 따라 SimpleFold는 소비자 수준의 하드웨어에서도 배포 및 추론 효율성이 뛰어나다. SimpleFold는 단백질 접힘 분야에서 복잡한 도메인 특화 아키텍처 설계에 대한 의존성을 도전하며, 향후 연구를 위한 새로운 설계 공간을 제시한다.