깊은 스케치 출력 커널 회귀를 이용한 구조화 예측

커널 트릭을 출력 공간에서 활용함으로써, 커널 유도 손실은 다양한 출력 모드에 대해 구조화된 출력 예측 작업을 정의하는 원칙적인 방법을 제공합니다. 특히, 이들은 입력 공간에서도 커널 트릭이 일반적으로 활용되는 대리 비모수 회귀의 맥락에서 성공적으로 사용되었습니다. 그러나 입력이 이미지나 텍스트일 때, 더 표현력 있는 모델인 딥 신경망이 비모수적 방법보다 적합해 보입니다. 본 연구에서는 딥 신경망을 사용하여 구조화된 출력 예측 작업을 해결하면서 여전히 커널 유도 손실의 다기능성과 관련성을 활용할 수 있는 방법에 대해 다룹니다. 우리는 새로운 딥 신경망 아키텍처 가족을 설계하였는데, 이 아키텍처의 마지막 층은 커널 유도 손실로부터 도출된 무한차원 출력 특징 공간의 데이터 종속 유한차원 부분공간에서 예측합니다. 이 부분공간은 경험적 커널 공분산 연산자의 랜덤 근사 버전의 고유 함수들의 벡터 공간으로 선택됩니다. 흥미롭게도, 이 접근법은 구조화된 예측에 대한 그래디언트 하강 알고리즘(그 결과로 어떤 신경망 아키텍처라도)의 사용을 가능하게 합니다. 합성 작업 및 실제 세계 감독 그래프 예측 문제에 대한 실험 결과는 우리의 방법론이 적절함을 보여줍니다.