17일 전
희소성과 연속적인 어텐션 메커니즘
André F. T. Martins, António Farinhas, Marcos Treviso, Vlad Niculae, Pedro M. Q. Aguiar, Mário A. T. Figueiredo

초록
지수족은 머신러닝에서 널리 사용되는 확률분포 가족으로, 연속 및 이산 영역의 많은 분포를 포함한다(예: 가우시안, 디리클레, 포아송, 소프트맥스 변환을 통한 카테고리 분포 등). 이러한 각 가족에 속한 분포는 고정된 지지역(지원 영역)을 갖는다. 반면, 유한한 도메인에서는 최근 소프트맥스의 희소 대안(예: sparsemax, alpha-entmax)에 대한 연구가 진행되었으며, 이러한 분포들은 변동하는 지지역을 가지며, 관련 없는 카테고리에 대해 확률을 0으로 할당할 수 있다. 본 논문은 이와 같은 연구를 두 가지 방향으로 확장한다. 첫째, 우리는 alpha-entmax를 연속 도메인으로 확장하여, 타스리스 통계(Tsallis statistics)와 변형된 지수족(deformed exponential families)와의 연결을 밝혀낸다. 둘째, 연속 도메인에 적합한 어텐션 메커니즘을 제안하고, alpha가 {1, 2}인 경우에 대해 효율적인 역전파 알고리즘을 도출한다. 기반 텍스트 분류, 기계 번역, 시각적 질문 응답에 대한 실험을 통해 1차원 및 2차원에서 연속 어텐션의 활용 가능성을 보여주며, 시간 간격과 밀집된 영역에 대한 주의를 가능하게 함을 입증한다.