AdaInt: 실시간 이미지 향상에 대한 3D 룩업 테이블의 적응적 구간 학습

3D 룩업 테이블(3D LUT)은 실시간 이미지 향상 작업을 위한 매우 효율적인 도구로, 이를 3차원 격자에 희소 샘플링하여 비선형 3차원 색상 변환을 모델링합니다. 이전 연구들은 유연한 향상을 위해 LUT의 이미지 적응형 출력 색상 값을 학습하는 데 노력했지만, 샘플링 전략의 중요성을 간과하였습니다. 그들은 하위 최적의 균일한 샘플링 점 할당을 채택하였는데, 이는 LUT 변환에서 균일한 샘플링 점 사이의 (삼각-)선형 보간이 색상 변환의 국부적인 비선형성을 모델링하지 못할 수 있어 학습된 LUT의 표현력을 제한합니다. 이러한 문제에 초점을 맞추어, 우리는 AdaInt (Adaptive Intervals Learning)이라는 새로운 메커니즘을 제시합니다. 이 메커니즘은 3차원 색상 공간에서 비균일한 샘플링 구간을 적응적으로 학습하여 더 유연한 샘플링 점 할당을 달성합니다. 이렇게 함으로써 3D LUT는 고도로 비선형인 색상 범위에서는 밀집된 샘플링을 수행하고, 거의 선형인 변환에는 희소한 샘플링을 수행함으로써 능력을 향상시킬 수 있습니다. 제안된 AdaInt는 3D LUT 기반 방법에 대한 컴팩트하고 효율적인 플러그 앤 플레이 모듈로 구현될 수 있습니다. AdaInt의 엔드투엔드 학습을 가능하게 하기 위해, 우리는 입력색상을 비균일 3D LUT에서 위치시키고 샘플링 구간에 그래디언트를 제공하는 새로운 미분 가능한 연산자인 AiLUT-Transform (Adaptive Interval LUT Transform)를 설계하였습니다. 실험 결과, AdaInt를 탑재한 방법들이 두 개의 공개 벤치마크 데이터셋에서 성능이 크게 향상되었으며, 부하 증가가 무시할 만큼 작다는 것을 확인하였습니다. 우리의 소스 코드는 https://github.com/ImCharlesY/AdaInt에서 이용할 수 있습니다.