iColoriT: Vision Transformer를 활용한 상호작용형 색상화에서 로컬 힌트를 적절한 영역으로 전파하기 위한 연구

포인트 인터랙티브 이미지 컬러라이제이션은 사용자가 특정 위치의 색상을 제공할 때 흑백 이미지를 색상화하는 것을 목표로 합니다. 포인트 인터랙티브 컬러라이제이션 방법에서는 사용자가 제공한 색상(즉, 사용자 힌트)을 전체 이미지에 적절히 전파하여 최소한의 사용자 노력으로 합리적으로 색상화된 이미지를 얻는 것이 필수적입니다. 그러나 기존 접근 방식들은 힌트를 먼 관련 영역으로 전파하기 위한 컨볼루셔널 레이어의 비효율적인 설계로 인해 부분적으로만 색상화된 결과를 자주 생성합니다. 이 문제를 해결하기 위해, 우리는 iColoriT라는 새로운 포인트 인터랙티브 컬러라이제이션 비전 트랜스포머를 제시합니다. 트랜스포머의 글로벌 수용 영역을 활용하여 iColoriT는 사용자 힌트를 관련 영역으로 효과적으로 전파할 수 있습니다. 트랜스포머의 자기 주의 메커니즘은 iColoriT가 몇 개의 로컬 힌트만으로도 관련 영역을 선택적으로 색상화할 수 있게 해줍니다. 또한, 큰 업샘플링 비율에서 발생하는 픽셀 셔플링에 의한 아티팩트를 완화하기 위해, 우리는 로컬 안정화 레이어를 제시합니다. 광범위한 정량적 및 정성적 결과는 우리의 접근 방식이 포인트 인터랙티브 컬러라이제이션에 있어 기존 방법들을 크게 능가하며, 최소한의 사용자 노력으로 정확하게 색상화된 이미지를 생성함을 보여줍니다. 공식 코드는 https://pmh9960.github.io/research/iColoriT 에서 확인할 수 있습니다.