비전 트랜스포머(ViT)를 처음부터 구축하는 완전 가이드: 이미지 패치를 통한 새로운 시각 인식 패러다임

비전 트랜스포머(ViT)는 자연어 처리(NLP)에 처음 개발된 트랜스포머 아키텍처를 컴퓨터 비전 작업에 적용한 딥러닝 모델입니다. 기존의 컨볼루션 신경망(CNN) 대신 이미지를 작은 사각형 조각들로 나누고, 각 조각을 토큰으로 처리합니다. 이는 텍스트에서 단어를 토큰화하는 방식과 유사합니다. 각 토큰은 고정된 벡터로 표현되며, 전체 이미지가 이 토큰들의 시퀀스로 간주됩니다. 이후 트랜스포머의 핵심 기능인 자기주의(self-attention) 메커니즘을 사용해 토큰 간의 공간적 관계를 학습하며, 이미지의 전반적인 구조와 의미를 파악합니다. 이 과정을 통해 ViT는 이미지 분류, 객체 탐지 등 다양한 비전 작업에서 높은 성능을 달성할 수 있습니다.