초록
본 논문에서는 다중모달 문서 분류에 대해 사이드튜닝( side-tuning) 프레임워크를 활용하는 방법을 제안한다. 사이드튜닝은 이전의 접근 방식과 관련된 일부 문제를 해결하기 위해 최근 도입된 네트워크 적응 기법이다. 이 기술을 통해 피팅(fine-tuning) 과정에서 발생하는 모델의 비유연성과 전이학습 시의 치명적인 기억 상실(catastrophic forgetting) 문제를 실제로 극복할 수 있다. 제안하는 솔루션은 사전에 준비된 딥러닝 아키텍처를 활용하여, 기본 모델과 두 개의 사이드 네트워크(사이드 네트워크 페어)를 결합하는 사이드튜닝 프레임워크를 사용한다. 본 연구에서는 다양한 데이터 소스(예: 문서 분류에서의 텍스트와 이미지)를 고려할 경우에도 사이드튜닝이 성공적으로 적용될 수 있음을 보여준다. 실험 결과에 따르면, 기존의 최상위 기술(SOTA) 대비 문서 분류 정확도의 한계를 더욱 끌어올릴 수 있음을 확인하였다.