17일 전

희소성과 연속적인 어텐션 메커니즘

André F. T. Martins, António Farinhas, Marcos Treviso, Vlad Niculae, Pedro M. Q. Aguiar, Mário A. T. Figueiredo
희소성과 연속적인 어텐션 메커니즘
초록

지수족은 머신러닝에서 널리 사용되는 확률분포 가족으로, 연속 및 이산 영역의 많은 분포를 포함한다(예: 가우시안, 디리클레, 포아송, 소프트맥스 변환을 통한 카테고리 분포 등). 이러한 각 가족에 속한 분포는 고정된 지지역(지원 영역)을 갖는다. 반면, 유한한 도메인에서는 최근 소프트맥스의 희소 대안(예: sparsemax, alpha-entmax)에 대한 연구가 진행되었으며, 이러한 분포들은 변동하는 지지역을 가지며, 관련 없는 카테고리에 대해 확률을 0으로 할당할 수 있다. 본 논문은 이와 같은 연구를 두 가지 방향으로 확장한다. 첫째, 우리는 alpha-entmax를 연속 도메인으로 확장하여, 타스리스 통계(Tsallis statistics)와 변형된 지수족(deformed exponential families)와의 연결을 밝혀낸다. 둘째, 연속 도메인에 적합한 어텐션 메커니즘을 제안하고, alpha가 {1, 2}인 경우에 대해 효율적인 역전파 알고리즘을 도출한다. 기반 텍스트 분류, 기계 번역, 시각적 질문 응답에 대한 실험을 통해 1차원 및 2차원에서 연속 어텐션의 활용 가능성을 보여주며, 시간 간격과 밀집된 영역에 대한 주의를 가능하게 함을 입증한다.