2달 전

Poincaré 임베딩을 이용한 계층적 표현 학습

Maximilian Nickel; Douwe Kiela
Poincaré 임베딩을 이용한 계층적 표현 학습
초록

표현 학습은 텍스트와 그래프와 같은 기호 데이터에서 학습하는 데 있어 귀중한 접근 방식이 되었습니다. 그러나 복잡한 기호 데이터셋은 종종 잠재적인 계층적 구조를 나타내는데, 최신 방법들은 이 특성을 고려하지 않는 유클리드 벡터 공간에서 임베딩을 학습하는 경우가 대부분입니다. 이를 해결하기 위해, 우리는 기호 데이터의 계층적 표현을 학습하기 위한 새로운 접근 방식을 소개합니다. 이 방법은 기호 데이터를 쌍곡 공간으로, 좀 더 정확히는 n차원 포앙카레 볼(Poincaré ball)로 임베딩하는 것입니다. 쌍곡 기하학의 특성 덕분에, 이 방법은 계층과 유사성을 동시에 포착하면서도 기호 데이터의 간결한 표현을 학습할 수 있습니다. 우리는 리만 최적화(Riemannian optimization)를 바탕으로 한 효율적인 알고리즘을 제시하며, 실험적으로 포앙카레 임베딩이 잠재적인 계층적 구조를 가진 데이터에서 유클리드 임베딩보다 대표성과 일반화 능력 면에서 크게 우수함을 보여줍니다.

Poincaré 임베딩을 이용한 계층적 표현 학습 | 최신 연구 논문 | HyperAI초신경