FiDO: 더 강한 성능과 빠른 추론을 위한 디코더 내 융합 최적화

퓨전-디코더(Fusion-in-Decoder, FiD)는 지식 집약형 자연어처리(NLP) 작업에서 최고 성능을 기록하는 강력한 검색 보강형 언어 모델이다. 그러나 본 연구의 분석에 따르면, FiD에서 사용된 아키텍처는 표준 T5 모델에 최소한의 수정을 가한 것으로, 검색 보강형 모델에 있어 매우 비효율적인 선택이다. 특히 FiD는 연산량(FLOPs)의 대부분을 인코더에 할당하지만, 추론 시간의 대부분은 디코더 내 메모리 대역폭 제약에 의해 발생한다. 본 연구에서는 이 메모리 대역폭 제약을 완화하기 위해 FiD 아키텍처에 두 가지 간단한 개선을 제안하며, 이로 인해 추론 속도가 7배 가량 향상된다. 이를 통해 비용 증가를 최소한으로 유지하면서 훨씬 더 큰 디코더를 사용할 수 있게 되었다. 위와 같은 개선을 적용한 FiD를 FiDO라고 명명하고, 다양한 추론 예산(inference budget)에 걸쳐 기존 FiD 모델보다 훨씬 우수한 성능을 보임을 입증하였다. 예를 들어, FiDO-Large-XXL은 FiD-Base보다 빠른 추론 속도를 보이며, FiD-Large보다 더 높은 성능을 달성한다.