FONTNET: 기기 내 글꼴 이해 및 예측 파이프라인

폰트는 가장 기본적이고 핵심적인 디자인 개념 중 하나입니다. 텍스트 커스터마이제이션과 같은 다양한 사용 사례에서 폰트의 스타일, 색상, 크기 등의 속성을 유지하면서 이미지 내의 텍스트를 변경할 수 있으며, 폰트에 대한 깊은 이해가 유용하게 활용될 수 있습니다. 현재 텍스트 인식 솔루션은 줄 바꿈이나 문단 바꿈을 기준으로 인식된 텍스트를 그룹화할 수 있습니다. 만약 폰트 속성이 알려져 있다면, 문맥에 따라 여러 텍스트 블록을 의미 있는 방식으로 결합할 수 있습니다.본 논문에서는 두 가지 엔진을 제안합니다: 이미지 내 텍스트의 폰트 스타일, 색상, 크기 속성을 식별하는 폰트 감지 엔진(Font Detection Engine)과 주어진 쿼리 폰트에 대해 유사한 폰트를 예측하는 폰트 예측 엔진(Font Prediction Engine)입니다. 본 논문의 주요 기여점은 세 가지로 요약됩니다: 첫째, 이미지 내 텍스트의 폰트 스타일을 식별하기 위한 새로운 CNN 아키텍처를 개발했습니다. 둘째, 주어진 쿼리 폰트에 대해 유사한 폰트를 예측하기 위한 새로운 알고리즘을 설계했습니다. 셋째, 프라이버시 보장을 위해 실시간 애플리케이션(예: 즉시 메시징)에서 지연 시간을 개선하도록 전체 엔진을 단말기 상에서 최적화하고 배포했습니다.우리는 두 엔진 모두 최악의 경우 단말기 상 추론 시간 30밀리초와 모델 크기 4.5MB를 달성하였습니다.